安装Hadoop集群的准备工作（详细附图）

linux-dash

A beautiful web dashboard for Linux

项目地址：https://gitcode.com/gh_mirrors/li/linux-dash

免费下载资源

奥卡姆的剃刀

5221人浏览 · 2019-02-23 20:59:14

奥卡姆的剃刀 · 2019-02-23 20:59:14 发布

在搭建Hadoop集群之前，已经在虚拟机上安装了三台Linux服务器，并且Linux的IP地址也已经配置好了，所以安装Linux服务器的过程省略了。本文主要讲述如何在此基础上，逐步搭建Hadoop环境。
**备注：**如果需要相关软件，可以私信发百度云链接

设备信息：

虚拟机版本：VMware-workstation-full-12.5.0-4352439.exe
Linux镜像：CentOS-7-x86_64-DVD-1511.iso
三台Linux服务器，SecureCRT远程连接工具，WinSCP远程文件传输工具。注意：SecureCRT是为了用命令行来操作，当然也可以进行文件传输，如果Linux操作命令不是很熟练的话，建议还是用SecureCRT来加强印象，如果熟练的话，可以直接用WinSCP来进行文件传输操作。

Linux服务器信息：主要是三台Linux服务器的IP地址

第一台：192.168.152.128
第二台：192.168.152.129
第三台：192.168.152.130

Linux连接外网设置：
首先更改网络适配器：
在这里插入图片描述
找到Vmnet8的网卡，点击属性进入

点击修改ipv4的地址，个人设置的为192.168.152.1

在这里插入图片描述
以上步骤完成之后，Windows的ip就配置好了

然后配置Linux的信息：
首先打开Linux的虚拟网络编辑器，选择Vmnet8的nat模式，并将IP地址写成刚刚在Windows上的Ipv4的地址，子网掩码相同。
在这里插入图片描述
接着设置Nat,点击NAT设置

将子网和网关还是写成Windows的Ipv4的地址，注意，最后一位随意。

最后是DHCP设置
点击DHCP设置

设置IP起始地址和结束地址，前面三位相同，最后一位介于1~254之间即可。

在这里插入图片描述
至此，Windows和Linux的IP就配置成完成了！

接着就是修改Linux的IP，择其中一台主机，
然后输入：vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
将BOOTPRPTO这一行注释掉，然后添加：
IPADDR=192.168.152.128
NETMASK=255.255.255.0
GATEWAY=192.168.152.2
DNS1=8.8.8.8
然后退出并保存。
在这里插入图片描述
然后重启网卡，输入命令：service network restart
接着查看IP是否修改成功，输入命令：ip addr

结果显示，IP修改成功。
在ping 一下百度，看是否能够ping通，输入命令： www.baidu.com

结果显示能够ping通。

1：集群准备工作

1.1 ：关闭防火墙

查看防火墙状态：firewall-cmd --state

当前关闭：systemctl stop firewalld ------ 关闭当前的防火墙，但下次重启之后防火墙还会生效；

永久关闭：systemctl disable firewalld ------永久性关闭防火墙，以后重启之后防火墙自动关闭。

因为要进行远程连接，所以选择永久关闭防火墙。

在这里插入图片描述

注意：三台机器都要永久性关闭，然后关闭Linux服务器再重启，用SecureCRT重新连接之后，输入命令：firewall-cmd --state 来检查防火墙状态，如果显示 not running，表示防火墙已经永久性关闭：
在这里插入图片描述

结果显示，防火墙已经关闭

1.2：永久性修改主机名

总是输入IP地址显得太繁琐，并且容易出错，所以修改主机名的目的是为了后面方便文件传输和信息配置。

修改主机名命令：vi /etc/hosts

注意：需要重启生效->reboot

查看当前主机名：是在当前192.168.152.128的主机上
在这里插入图片描述

然后输入vi /etc/hosts修改主机名，

在这里插入图片描述

查看是否修改成功：cat /etc/hosts

在这里插入图片描述

结果显示修改成功！

注意：这是在192.168.152.128的服务器上修改主机名，因此后面两台192.168.152.129和192.168.152.129也需要修改步骤和上面一样，但是这里有一个技巧：将192.168.152.128修改后的信息直接传输到后两台机器中

传输命令：scp -r /etc/hosts 192.168.152.129:/etc/

scp：表示传输命令

-r :表示传输文件

/etc/hosts ：表示当前需要传输文件的所在目录

192.168.152.129 ：表示要传输的服务器IP地址

/etc/ ：表示要传输的服务器的目录，因为之前是在128的主机的/etc/hosts目下修改主机名，所以要传输到129主机的etc的目录下，128的hosts目录会将129的hosts目录覆盖。

在这里插入图片描述

然后在129的主机上查看是否修改成功，命令：

在这里插入图片描述
显示修改成功。

在128的主机上，再将128的信息传输到130的主机上，步骤同上，只需要将传输命令改成

scp -r /etc/hosts 192.168.152.130:/etc/ 即可

结果显示：
在这里插入图片描述

130的主机也修改成功！

当三台机器主机名都修改成功后，需要重启生效

在每台机器下输入命令：reboot

1.3：配置映射文件

需要的配置版本信息：

jdK版本：jdk-8u144-linux-x64.tar.gz

在128的主机上，进行远程传输，输入命令：Alt+p 后，会打开了128主机的SFTP页面。
在这里插入图片描述然后将jdk-8u144-linux-x64.tar.gz拖拽到SFTP页面。

回到128主机上，mkdir hd ,这里是创建一个hd文件，为了将jdk-8u144-linux-x64.tar.gz解压到hd文件中。

然后输入解压命令：tar -zxvf jdk-8u144-linux-x64.tar.gz -C /root/hd/
在这里插入图片描述

显示jdk-8u144-linux-x64.tar.gz上传成功，文件夹hd创建成功，并且hd文件夹中也有了jdk-8u144-linux-x64.tar.gz解压后的文件，所以将原始压缩包删除，节省资源。

删除命令： rm -rf jdk-8u144-linux-x64.tar.gz

1.4：配置环境变量

Linux配置java环境变量的目的与Windows相同，是为了可以在任意目录下使用java。

进入上面创建的hd文件夹中，进行修改配置文件

查看jdk 所在的路径：pwd
在这里插入图片描述

修改配置文件命令：vi /etc/profile

在最后添加两行代码： export JAVA_HOME=/root/hd/jdk1.8.0_144
export PATH= $P A T H :$ JAVA_HOME/bin
在这里插入图片描述
修改好之后，注意：一定要加载环境变量 source /etc/profile

在任意目录下，输入java后，能够显示信息，表示环境变量已经加载成功。

1.5：发送到另外两台机器

当128（也就是hd9-01的机器，因为主机名已经修改好）的环境变量加载完成之后，其他两台（129,130，分别对应主机名hd9-02,hd9-03）机器。

同样在128的机器上，用远程传输命令，分别发送到另外两台。

传输命令：scp -r hd/jdk1.8.0_144/ hd09-02:/root/hd/
在这里插入图片描述

在129的机器上查看：
在这里插入图片描述

可以看到，虽然129机器之前没有hd文件夹，但是远程传输之后会自动创建。

接着在回到128机器上，将环境变量也发送到129的机器上

传输命令：scp -r /etc/profile hd09-02:/etc
在这里插入图片描述

切换到129机器上，查看是否传输成功：
在这里插入图片描述

结果显示，传输成功。同样，130机器也是如此。

1.6：免密登录设置

在刚刚传输文件的过程中，每次都需要输入登录密码，有点麻烦，此时，可以设置免密登录。

免密登陆设置：

ssh-keygen
ssh-copy-id 自己
ssh-copy-id 其他
ssh-copy-id 其他

在这里插入图片描述

再接着ssh到第二台机器hd9-02
在这里插入图片描述

再接着SSH到第三台机器
在这里插入图片描述

2：安装步骤总体大纲

装好一台虚拟机后，先进行第一步：配置静态ip，

（1）
查看防火墙：firewall-cmd --state
关闭防火墙：systemctl stop firewalld
永久性关闭：systemctl disable firewalld.service

查看当前IP: ip addr

修改IP配置：vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
(主要是修改IP)

重启网卡：service network restart

重新检查IP是否修改成功：ip addr

注意：一定是先重启网卡，再检查IP是否正确，否则显示的还是原始克隆后的IP地址

（2）将第一台已经配置成功的虚拟机克隆
同样进行以上操作。注意，在进行修改IP配置时，不能重复，选择递增或者递减的ip，后面的步骤一样

然后设置主机名：
vi etc/hostname
然后直接输入要改的主机名： hd09-01 (只需要输入一个对应的主机名就行)

三台机器都修改主机名后,需要重启Linux,否则不能生效
在secureCRT下重启：输入命令reboot （三台都需要重启）
然后secureCRT重新连接三台服务器，查看主机名是否修改成功：直接输入命令：hostname

免密登陆设置（为了传输文件到别的主机而不需要输入密码）：
在主机（192.168.152.128输入命令：ssh-keygen
第一步在ssh自己： ssh-copy-id hd09-01（hd09-01为ip192.168.152.128对应的主机名）
第二步ssh hd09-02的机器：ssh-copy-id hd09-02
第三部ssh hd09-03的机器：ssh-copy-id hd09-03

修改映射文件：
命令：vi /etc/hosts
在hd09-01（192.168.152.128）连接的scureCRT下，根据服务器数量,修改成如下格式：
192.168.152.128 hd-01
192.168.152.129 hd-02
192.168.152.130 hd-03

然后发送至hd09-02的主机上：scp -r /etc/hosts 192.168.152.129:/etc/
再发送至hd09-03的主机上：scp -r /etc/hosts 192.168.152.130:/etc/

安装JDK：
在指定的主机上（hd09-01: 192.168.152.128）的根目录下，先创建一个文件夹hd，然后alt+p 再cd hd进入目录，
上传完毕之后，进入hd，查看是否上传成功

修改环境变量： vi /etc/profile  
进入配置页面后，在最后添加如下语句：
export JAVA_HOME=/root/hd/jdk1.8.0_144   ---注意，如果不知道jdk路径，可以克隆当前会话，进入jdk目录下，
                    输入pwd 然后复制到‘’JAVA_HOME= ‘’的后面
再添加到PATH路径下：
export PATH=$PATH:$JAVA_HOME/bin

退回根目录下，然后加载环境变量，输入命令：
source /etc/profile

在任意目录下输入：java 没有报错证明修改成功

然后再第二台机子上，创建一个与第一台主机一样的目录： mkdir hd

然后在回到第一台主机中输入命令：scp -r hd/jdk1.8.0_144/ hd09-02:hd/jdk1.8.0_144/
再输入：scp -r hd/jdk1.8.0_144/ hd09-03:hd/jdk1.8.0_144/
然后在每台机子上输入java ,看是否报错

============================================================
其实以上可以一步执行：直接将主机hd传输到另外两台机子

GitHub 加速计划 / li / linux-dash

下载

A beautiful web dashboard for Linux

最近提交(Master分支：4 个月前 )

186a802e added ecosystem file for PM2 4 年前

5def40a3 Add host customization support for the NodeJS version 4 年前

GitCode 开源社区

旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。

更多推荐

[转载]在Windows环境下安装GNU Radio

转自：在Windows环境下安装GNURadio_恐弱智_新浪博客GNU Radio是用Python开发的，大部分开源的工程能够在Linux环境下运行良好，而Windows下却运行的很勉强，而且安装配置都很复杂。GNU Radio算是个例外了，不光提供了Windows的二进制安装，还有比较详细的说明。我是Python小白，所以折腾了好久才弄好，特意记录下来，免得以后再装还折腾。GNU Radio的