解决Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

winutils

Windows binaries for Hadoop versions (built from the git commit ID used for the ASF relase)

项目地址：https://gitcode.com/gh_mirrors/wi/winutils

免费下载资源

雾幻

5207人浏览 · 2018-10-12 10:03:45

雾幻 · 2018-10-12 10:03:45 发布

在Windows环境下使用IDEA、eclipse运行hadoop、spark程序时产生如下异常：

1、java.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries.
2、java.io.IOException: Failed to locate the winutils binary in the hadoop binary path

发现是因为在Windows环境中缺少winutils.exe程序。
因为一般情况下Hadoop、spark都是运行在Linux系统下的，在windows下运行时需要安装Windows下运行的支持插件：hadoop2.7-common-bin

相关插件下载地址：https://download.csdn.net/download/lb812913059/10715219
备注：个人使用hadoop为2.7.6版本，spark为2.3.0版本，一般来说是兼容的

插件配置步骤(压缩包中包含环境变量配置图片)：

解压
配置环境变量
本地解压目录为（供参考对照）：D:\java\hadoop-common-2.7\bin

GitHub 加速计划 / wi / winutils

下载

Windows binaries for Hadoop versions (built from the git commit ID used for the ASF relase)

最近提交(Master分支：4 个月前 )

e8089ecf - 3 年前

d4f71517 point people at cdarlint/winutils for binaries and call out the fact that we could remove the need for this entirely just to run spark on windows 6 年前

AtomGit开源社区

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念，把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起，为开发者提供从开发、训练到部署的一站式体验。

更多推荐