从零开始Hadoop安装和配置

目录

从零开始Hadoop安装和配置

1.Hadoop学习前的准备

1）首先安装虚拟机 

2）然后我们开始安装Linux

3）配置一下网络

4）连接虚拟机

5）设置免密登录

2.下面我们下载配置一下JDK 

1）yum install在线安装软件

2）jdk

3）下面我们配置一下Java的环境变量

3.下面我们开始安装配置Hadoop

1）首先下载hadoop-2.7.2的jar包

2）下面我们配置Hadoop环境

a.配置主机名和ip地址映射 

b.进入到hadoop中 配置xml文件

①首先 修改vim hadoop-env.sh

②然后 修改vim core-site.xml

③然后 修改vim hdfs-site.xml

④然后 修改vim mapred-site.xml

⑤最后 修改yarn-site.xml

3）配置Hadoop环境变量

4.hadoop初始化

5.hadoop 启动！

---

1.Hadoop学习前的准备

1）首先安装虚拟机 

VMWare 虚拟机：因为它不是一个硬件 而是用软件做出来的 模拟真机 所以叫做虚拟机 但实际上它里面也可以安装Linux和Windows 实际它的实现

虚拟机中想要实现某个操作时 将需求发给Windows 调用Windows的CPU Windows完成以后 再将结果返回给虚拟机 然后在虚拟机显示出来 实际上虚拟机起了一个中间人的作用

将虚拟机安装完成后 我们打开 如果需要输入密钥 我们填一下 

• ZF3R0-FHED2-M80TY-8QYGC-NPKYF

• YF390-0HF8P-M81RQ-2DXQE-M2UT6

• ZF71R-DMX85-08DQY-8YMNC-PPHV8

以上密钥如果不能使用 请及时联系小编 

2）然后我们开始安装Linux

我们创建一个普通用户 可以使用自己的名字 密码一定要记住

点击选择最小安装 然后开始安装 安装完成后会自动重启

然后 我们使用root用户登录 输入密码 开始配置

输入vi /etc/sysconfig/network-scripts/ifcfg-ens33​vi 相当于Windows下双击打开文件修改原有内容并添加以下内容​

然后 我们修改一下主机名 关闭一下防火墙及其自启动

hostnamectl set-hostname centos1 //修改主机名​systemctl stop firewalld.service  //停止防火墙​systemctl disable firewalld.service #禁止firewall开机启动​hostname 查看计算机名

配置好以后我们关闭虚拟机 

3）配置一下网络

Linux通过这个IP就可以访问Windows了 所以两者必须一致 我们要修改虚拟网络适配器

上述操作全部完成 我们现在打开cmd 输入ping（心跳） +Linux的ip地址 能够ping通 说明我们可以进行通信了 配置成功

4）连接虚拟机

上一节配置完成了基础的虚拟机配置及网络配置 下面我们开始建立连接 我们为什么要与虚拟机建立链接呢？

连接虚拟机就好像跟亲友联系一样 总得找个便捷又好用的工具才行 Secure CRT就像是一把能打开通向虚拟机大门的“钥匙” 让我可以从本地电脑轻松地访问和管理虚拟机 而且使用 Secure CRT连接虚拟机 还可以通过 SSH 或 Telnet 协议建立安全的远程连接 保护数据传输的安全性 总之 Secure CRT连接虚拟机就是为了简化操作 提高效率 让我在技术世界里如鱼得水！

首先 我们安装下载一下所需要的文件 并解压到当前文件夹

 双击打开.exe文件

输入我们的主机名IP地址 用户名root 点击连接

输入我们设置的密码 出现下面的页面就是连接成功了

5）设置免密登录

Linux规定 任何软件访问都需要输入密码 但是 我们在开发的时候 有很多台服务器 尤其是集群 一方面是程序员访问集群 或者集群内布互相访问 那么 我们在每次操作时都要输入密码 是很麻烦的 所以说 我们要设置一下免密登录

生成公钥 私钥

将公钥拷贝给本机 免密登录设置完成

2.下面我们下载配置一下JDK 

1）yum install在线安装软件

• yum install net-tools  //支持ifconfig

• yum install vim   //支持vim

• yum install glibc.i686 --java命令不好使

2）jdk

因为Hadoop是Java做的 所以我们需要jdk的支持 我们下载上传一下jdk到我们的jtxy1的/root/目录下

上传完成以后 我们开始安装jdk 首先解压

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/local/

-zxvf：z 解压 x 抽取 v 查看进度 -C 到xx目录下

修改一下jdk的名字 方便后续操作

3）下面我们配置一下Java的环境变量

vim /etc/profile 按i 进入到INSERT状态下

添加以下两行代码 完成后点击Esc Shift+: 输入wq 保存并退出

export JAVA_HOME=/usr/local/jdkexport PATH=$PATH:$JAVA_HOME/bin

$：指的是取变量值 然后与后面输入的进行拼接

在shell编程中 我们可以定义一个变量 如v=33 那么 如果我们在它的前面加一个export 我们就可以在所有路径中访问它了

4）添加完以后 我们输入source /etc/profile 使里面的变量生效

生效以后 这个变量变成一个全局变量 我们就可以访问Java了

注意：我们在java下面 如果输入cd before 我们是进不去的 因为这样他会认为是进入java下面的目录 所以我们要加绝对路径 cd d:/before

3.下面我们开始安装配置Hadoop

1）首先下载hadoop-2.7.2的jar包

 并添加到我们的jtxy1的/root/目录下

上传完成以后 我们开始安装hadoop 首先解压

tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/

-zxvf：z 解压 x 抽取 v 查看进度 -C 到xx目录下

修改一下hadoop的名字 方便后续操作

2）下面我们配置Hadoop环境

a.配置主机名和ip地址映射 

vim /etc/hosts

b.进入到hadoop中 配置xml文件

cd /usr/local/hadoop/etc/hadoop/

①首先 修改vim hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

②然后 修改vim core-site.xml

<property>      <name>fs.defaultFS</name>      <value>hdfs://centos1:9000</value>    </property>    <!-- 指定hadoop运行时产生文件的存储目录,最终分片的块数据 -->    <property>      <name>hadoop.tmp.dir</name>      <value>/usr/local/hadoop/tmp</value>                              </property>

③然后 修改vim hdfs-site.xml

 <property>                   <name>fs.checkpoint.period</name>                    <value>3000</value>                </property>    <!-- 指定HDFS副本的数量 （集群下，有多台机，可多份，目前就一台）-->    <property>      <name>dfs.replication</name>      <value>1</value>                </property>                <property>        <name>dfs.permissions</name>        <value>false</value> </property>

④然后 修改vim mapred-site.xml

先修改一下名字 mv mapred-site.xml.template mapred-site.xml

  <!-- 告诉hadoop 指定mr运行在yarn上 -->    <property>      <name>mapreduce.framework.name</name>      <value>yarn</value>        </property>​

⑤最后 修改yarn-site.xml

 <!-- 指定YARN的老大（ResourceManager）的地址 yarn -->    <property>      <name>yarn.resourcemanager.hostname</name>      <value>centos1</value>        </property>    <!-- reducer获取数据的方式是shuffle方式 -->        <property>      <name>yarn.nodemanager.aux-services</name>      <value>mapreduce_shuffle</value>        </property>

3）配置Hadoop环境变量

export HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin​

配置完成后 我们source /etc/profile 使变量生效一下

到这里 Hadoop的安装配置我们就完成啦 

4.hadoop初始化

下面 我们将namenode进行一下初始化

hdfs namenode -format

(创建文件存储目录：账本目录namenode datanode的目录)

5.hadoop 启动！

初始化完成以后 我们启动一下Hadoop

启动文件系统：start-dfs.sh  

启动计算系统：start-yarn.sh

下面 我们就可以开始Hadoop的学习啦！

成功与不成功之间有时距离很短——只要后者再向前几步。