问题描述:windows本地调试hadoop报错(我这里是连接Hbase也是报同样的错)

22/06/10 09:58:51 WARN Shell: Did not find winutils.exe: {}
java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems

其原因是需要在windows本地搭建Hadoop环境,下载winutils文件,并将hadoop-2.8.4包内的bin文件替换,将下载文件中hadoop.dll放到C:\Windows\System32下

一、下载

我的是hadoop3.0.0,下载Hadoop3.0:下载链接

自己选择一个盘,我这里是 D:\software

1、配置Hadoop_HOME环境变量

新建系统变量
在这里插入图片描述

2、在Path环境变量,添加
%HADOOP_HOME%\bin

在这里插入图片描述

3、修改配置文件:在hadoop-3.0.0\etc\hadoop目录下

(1)修改hadoop-env.cmd,改为自己本机的设置jdk目录

set JAVA_HOME=D:\Program Files\Java\jdk1.8.0_321
4、下载winutils的windows版本:

下载地址:https://github.com/steveloughran/winutils
百度网盘:https://pan.baidu.com/s/13KNS1FEt4fECJVs1m83CoA?pwd=7d9v
提取码:7d9v
将下载的Winutils的包解压,我这里是Hadoop 3.0
在这里插入图片描述

5、用winutils-master中的Hadoop-3.0.0下的Bin文件夹替换掉自己下载安装的hadoop-3.0.0文件下的bin目录

在这里插入图片描述

6、将替换后的hadoop-3.0.0中的bin文件夹下的hadoop.dll拷贝到C:\Windows\System32目录下
7.idae启动测试

参考:java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐