Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021)

写在前面的话，博主刚入大数据的坑，开始在配置环境上走过无数的坑，有些博文上的步骤方法要么就是版本太旧了，要么没有说清楚原理，要么就是可能会行不通，或着自动配置的，不过博主查过许多资料，自定义+手动分区相对来说是更好的，这篇博文让你0基础配置大数据环境！

这个系列文章传送门:
Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021)
Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置（图文详解步骤2021）
Hadoop入门(三)——XSHELL7远程访问工具+XFTP7文件传输（图文步骤详解2021）
Hadoop入门(四)——模板虚拟机环境准备（图文步骤详解2021）
Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机（图文步骤详解2021）
Hadoop入门(六)——JDK安装（图文步骤详解2021）
Hadoop入门(七)——Hadoop安装（图文详解步骤2021）
Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量 （图文详解步骤2021）
Hadoop入门(九)——SSH免密登录 配置
Hadoop入门(十)——集群配置（图文详解步骤2021）
Hadoop入门(十一)——集群崩溃的处理方法（图文详解步骤2021）
Hadoop入门(十二)——配置历史服务器及日志的聚集（图文详解步骤2021）
Hadoop入门(十三)——集群常用知识(面试题)与技巧总结
Hadoop入门(十四)——集群时间同步（图文详解步骤2021）
Hadoop入门(十五)——集群常见错误及解决方案

文章目录

CentOS7下载

官网下载

1.进入CentOs官网：官网网址
2.往下拉进入Older Version
在这里插入图片描述
3. 往下拉找到Base Distribution，选择自己的版本，点击Tree
在这里插入图片描述
4.选择CentOs的ISO镜像文件（isos目录）
在这里插入图片描述
5. 选择对应电脑的版本进行下载
在这里插入图片描述
6. 选择你需要的，一般下载DVD标准安装版就行
在这里插入图片描述
各个版本的ISO镜像文件说明：

  • CentOS-7-x86_64-DVD-1810.iso 标准安装版（推荐）
  • CentOS-7-x86_64-Everything-1810.iso 完整版，集成所有软件（以用来补充系统的软件或者填充本地镜像）
  • CentOS-7-x86_64-LiveGNOME-1810.iso GNOME桌面版
  • CentOS-7-x86_64-LiveKDE-1810.iso KDE桌面版
  • CentOS-7-x86_64-Minimal-1810.iso 精简版，自带的软件最少
  • CentOS-7-x86_64-NetInstall-1810.iso 网络安装版（从网络安装或者救援系统）

在官网下载的时候是非常慢的，我们可以使用国内镜像下载。

国内镜像下载

国内阿里云镜像下载：https://mirrors.aliyun.com/centos/7/isos/x86_64/
进入阿里云站点，选择 CentOS-7-x86_64-DVD-1810.iso下载
在这里插入图片描述

VM上手动安装CentOS7

创建虚拟机

1、打开VMware Workstation Pro 15.5，点击“创建新的虚拟机”
在这里插入图片描述
2、选择“自定义（高级）”，下一步
在这里插入图片描述
3、此步用默认选项即可
在这里插入图片描述
4、点击“稍后安装操作系统”，下一步
在这里插入图片描述
4、选择要安装的虚拟机操作系统。这里我安装的是Linux的CentOS 7 64位系统，按照实际情况选择即可，下一步
在这里插入图片描述

可能出现的问题
在桌面虚拟机软件VMVare Workstation中创建新的虚拟机，选择客户机操作系统时，出现“此主机不支持64位客户机操作系统，此系统无法运行”的警告。
在这里插入图片描述
如果无视这个问题，直接点击“下一步”，倒也可以完成环境的配置，但是后面想要开启此虚拟机并正式安装红帽系统时，会出现“ VMware Workstation 与 Hyper-V不兼容 ”的提示，需要移除Hyper-V然后再运行VMWare安装CentOS。
这两个问题出现的根本原因都是Hyper-V和VMware冲突了，因此解决这个问题就需要关闭Hyper-V。
在这里插入图片描述
解决方法——通过命令行
以管理员身份运行命令提示符（cmd），然后执行命令 bcdedit /set hypervisorlaunchtype off ，执行完后重启计算机即可解决。
在这里插入图片描述

6、配置CPU个数。根据电脑性能，配置给虚拟机的处理器（CPU）。
在这里插入图片描述
简单来说就是两两相乘，核总数不能超过本机的

处理器数量（P）：
1、启用了超线程或具有双核CPU的单处理器主机可视为拥有两个逻辑处理器。
2、只有拥有至少两个逻辑处理器的主机才支持指定多个虚拟处理器。
3、具有两个CPU的多处理器主机无论是否为双核处理器或是否启用了超线程，均视为拥有至少两个逻辑处理器。
4、物理CPU个数×每颗核数就等于逻辑CPU的个数。

每个处理器的核心数量（C）：
1、多内核（multicore chips）是指在一个处理器（CPU）中集成两个或多个完整的计算引擎（内核）。
2、一个CPU中可以包括多个核，相当于逻辑上的多个CPU在工作。

每个人电脑配置不一样，最后设置的数量只要没有超出电脑配置即可。博主的电脑配置如下：
在这里插入图片描述
如果还想搞的更清楚可以参考博客：VMware : 处理器数量和每个处理器的核心数量

这里的内存也是根据本机来的，不用给很大，够用就行，我这里给2048MB
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
以上都选默认的就行了

磁盘大小根据建议值来就行，系统安装之后也就占5、6个G的样子
在这里插入图片描述
这里默认的就好了，直接下一步
在这里插入图片描述
点击完成
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
引导设置成功后先进入Centos的主引导界面
菜单有三个选项

1、安装CentOS
2、试用CentOS
3、故障排除

这里进入第一项- 安装Centos【上下键选中并回车】
在这里插入图片描述

在这里插入图片描述
第二个界面是选择安装语言界面，我相信看这个教程的很多童鞋都是新手或者第一次安装Centos的同胞，对于新手而言，最好选择可以看懂的中文语言，往下拉到底就可以看到中文了，选中它。单机Continue/继续 【或者键盘的Tab键选中+回车确定】
在这里插入图片描述
第三个界面非常关键，这涉及到你系统的基本配置，比如硬盘大小、根分区以及swap分区
在这里插入图片描述

本地化：本地化这一块不需要做过多的配置，按需即可；
软件：软件下面的安装源和软件选中，只有特殊需求的童鞋才会用到。这一点从里面的选项描述就可以知道，为了不错误引导新手，这里就不放图了。
系统：我们来重点说一下系统

先说KDUMP
在这里插入图片描述
对于新手来说，这个在新手阶段无使用价值，配置启用或者不启用都无关紧要

在这里插入图片描述
安装位置
由于安装位置涉及到你自己的磁盘数据以及分区内容，如果原分区包含有数据、有必要先备份数据
在这里插入图片描述
点击 添加磁盘 按钮可以添加指定的附加设备或者网络设备（通过ISCSI、FCoE等方式添加硬盘）
然后下面其他存储选项中有

Automatically configure partitioning
自动配置分区
I will configure partitioning
手动配置分区
I would like to make additional space available
我想要额外空间可用

在这里插入图片描述
自动分区方案可能不符合实际使用情况，通常所以我们采用手动分区，选中手动配置分区 ，然后单击左上角完成就会弹出手动分区的配置界面。

如果这是一个空白的硬盘，这时我们可以点击 Click here to create them automatically 点击这里自动创建他们，然后根据实际情况稍作调整。

如果这块硬盘已经安装了操作系统，选中该操作系统的一个分区，点击 - ，勾选删除所有文件系统。

此处设置自动创建分区的类型：Standard partition（标准分区）、Btrfs（一种已经废弃的文件系统）、LVM、LVM Thin Provisioning （自动精简LVM）

分区方案选择LVM即可

Tips：标准分区，分区是固定大小
LVM：普通的磁盘分区管理方式在逻辑分区划分好之后就无法改变其大小，当一个逻辑分区存放不下某个文件时，这个文件因为受上层文件系统的限制，也不能跨越多个分区来存放，所以也不能同时放到别的磁盘上。而遇到出现某个分区空间耗尽时，解决的方法通常是使用符号链接，或者使用调整分区大小的工具，但这只是暂时解决办法，没有从根本上解决问题。随着Linux的逻辑卷管理（LVM）功能的出现，这些问题都迎刃而解，用户在无需停机的情况下可以方便地调整各个分区大小，当然也可以使用LVM Thin Provisioning。某些分区固定只能是标准分区，即使选择LVM也会自动设置为标准分区。

在这里插入图片描述
创建一个手动分区，以下是我虚拟机的手动分区方案
可以使用下方+、- 符号增加或者删除分区。
在这里插入图片描述

如果你是新手记住：除了SWAP分区外，其他分区的文件系统一律选择ext4类型,设备类型默认选LVM

分区方案描述
必须的分区
boot分区：
  • 作用：引导分区，包含了系统启动的必要内核文件，即使根分区顺坏也能正常引导启动 一般这些文件所占空间在200M以下，
  • 分区建议：分区的时候可选100M-500M之间,如果空间足够用，建议分300-500M。避免由于长期使用的冗余文件塞满这个分区。
  • 分区格式：建议ext4，按需求更改
/分区（根分区）：
  • 作用：所有的文件都从这里开始，你可以比喻为Windows的C盘，但其实有区别。如果你有大量的数据在根目录下（比如FTP等）可以划分大一点的空间
  • 分区建议：建议15G以上。看需求，根分区和home分区的大小就类似C盘和D盘的空间分布一样，主要占空间在哪儿就在那里分大容量
  • 分区格式：建议ext4，按需求更改
swap分区：
  • 作用：类似于Windows的虚拟内存，在内存不够用时占用硬盘的虚拟内存来进行临时数据的存放，而对于linux就是swap分区
  • 分区建议：建议是物理内存大小的2倍，比如你电脑是4G的物理内存，swap分区可以是8G
  • 分区格式：swap格式
可选的分区
home分区
  • 作用：存放用户数据，HOME的结构一般是 HOME/userName/userFile，如果不分则默认在/目录下
  • 分区建议：如果用户数据多可以将此分区适当增大，请参考“根分区”分区建议；一般硬盘的主要容量几乎都在Home分区和根分区下
  • 分区格式：建议ext4，按需求更改
var分区
  • 作用：用于log日志的文件的存放，如果不分则默认在/目录下
  • 分区建议：如果你安装的linux是用于服务器或者经常做日志分析，请划分var分区，避免日志文件不断膨胀塞满导致根分区而引发问题。
  • 分区格式：建议ext4，按需求更改

在安装过程中，可以同时配置ROOT用户的密码和创建新用户，可以点击相应选项进行设置。
于是就可以等待系统安装完成了！！！
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
重启完成安装
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
本片讲述了
CentOS7下载+VM上安装（手动分区）图文步骤详解(2021)
我们下一篇进行
VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置

# hadoop # 大数据 # hdfs # mapreduce
Logo
GitCode 开源社区

旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。

更多推荐

[转载]在Windows环境下安装GNU Radio

转自：在Windows环境下安装GNURadio_恐弱智_新浪博客GNU Radio是用Python开发的，大部分开源的工程能够在Linux环境下运行良好，而Windows下却运行的很勉强，而且安装配置都很复杂。GNU Radio算是个例外了，不光提供了Windows的二进制安装，还有比较详细的说明。我是Python小白，所以折腾了好久才弄好，特意记录下来，免得以后再装还折腾。GNU Radio的

avatar GitCode 开源社区

centOS 8 使用dnf安装Docker

DNF是什么？CentOS 8使用YUM软件包管理器版本v4.0.4。现在，该版本使用DNF(已删除YUM)。DNF是软件包管理器。它会在Linux发行版上安装，执行更新并删除软件包。使用DNF安装Docker跳过具有损坏依赖性的程序包一个有效的解决方案是使您的CentOS 8系统使用以下--nobest命令安装最符合条件的版本：sudo dnf install docker...

avatar GitCode 开源社区

定时同步数据库表(mysql+linux+crontab)

sync.sh里面的参数需要改变，ip/username/password/database/tablesync.sh#!/bin/sh# Please change the IP and password of the data source db.# Then change the table name.filename=/home/nington/db/$(date +%Y-%m

avatar GitCode 开源社区