Hadoop集群添加节点
linux-dash
A beautiful web dashboard for Linux
项目地址:https://gitcode.com/gh_mirrors/li/linux-dash
·
1、 添加新的虚拟主机
a) 修改主机名 vi /etc/sysconfig/network
b) 永久关闭防火墙 /etc/init.d/iptables stop chkconfig iptables off
c) 关闭selinux vi /etc/selinux/config SELINUX=disabled
d) 修改所有节点的 /etc/hosts文件。添加新节点的ip和主机名
e) 主节点到新节点的ssh无密码登录 ssh-copy-id node04
f) Jdk安装
2、 在hadoop配置文件路径中创建dfs.hosts(白名单:可以和NN通信的所有节点)文件,并添加可以通信的所有DataNode
3、 在hdfs-site.xml中添加一下配置
<property>
<name>dfs.hosts</name>
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
</property>
4、 刷新NameNode和ResourceManager
hdfs dfsadmin –refreshNodes
yarn rmadmin –refreshNodes
5、 启动新节点的DataNode 和NodeManager
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
6、 在Slaves中添加新节点
7、 验证
8、 负载均衡
A beautiful web dashboard for Linux
最近提交(Master分支:2 个月前 )
186a802e
added ecosystem file for PM2 5 年前
5def40a3
Add host customization support for the NodeJS version 5 年前
新一代开源开发者平台 GitCode,通过集成代码托管服务、代码仓库以及可信赖的开源组件库,让开发者可以在云端进行代码托管和开发。旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。
更多推荐


所有评论(0)