通常情况下,我们只是通过已经编译好的Hadoop jar包来运行Hadoop。如果我们更改了Hadoop的源码,希望对更改的代码进行远程调试,可以通过下面的步骤来进行:

 

1. 下载从Apache社区或者Cloudera网站上下载Hadoop的压缩包

2. 在eclipse中创建一个java工程,并将该压缩包导入其中,建议在linux开发环境下完成

3. 对Hadoop代码更改后,在linux命令行下运行: "ant jar",重新生成新的jar包

4. 将更改后的Hadoop部署到远程的linux server上,假设为一个name node,两个data node的场景,并且要调试name node(IP是10.10.10.2)

5. 在name node的Hadoop bin目录下运行: "cp hadoop hadoop-debug",复制一个新的脚本

6. 在hadoop-debug脚本中的最后一行进行如下改动:

7. 运行: "hadoop-debug namenode -format",这个时候命令会挂起,等待调试器连接9090端口,如:

8. 回到开发端,在eclipse中右键选择NameNode.java->Debug As->Debug Configuration,进行如下配置:

9. 点击Apply,然后Debug,就可以连接到name node上进行调试了。远程调试和本地调试区别不大,同样可以设置断点等操作。

 

GitHub 加速计划 / li / linux-dash
10.39 K
1.2 K
下载
A beautiful web dashboard for Linux
最近提交(Master分支:1 个月前 )
186a802e added ecosystem file for PM2 4 年前
5def40a3 Add host customization support for the NodeJS version 4 年前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐