拓展

b(bit)位 最小数据单位 二进制 (0,1) 0101 4b

B(Byte)字节 1B=8b               汉字(占1-2字节)

KB 千字节    1KB=1024B       一小段文字

MB 兆字节   1MB=1024KB    一首歌(3-5M)

GB 吉字节    1GB=1024MB   一个视频

TB 太字节    1TB=1024GB    数据库(25张高清图片)

PB 拍字节    1PB=1024TB    公司，数据中心(2亿张图片)

EB 艾字节    1EB=1024PB   全球级别(全球天气观测和气候的数据)

ZB 泽字节    1ZB=1024EB   全球数量的总和

YB 尧字节    1YB=1024ZB

1.1 认识大数据

1.1.1 大数据与大模型

大数据和大模型之间有着非常紧密的关系。可以说，大数据是大模型发展的基石，而大模型是大数据价值挖掘的重要工具。

1.1.2 大数据的4V特征

多样化(格式多):

结构化数据：固定格式关系型数据库，excel

半结构化数据：具有一定的层次结构，介于结构化数据与非结构化数据之间json文件，xml文件，电子邮件

非结构化数据：无固定格式文本文件，图片，音乐

1.1.3 大数据技术发展

大数据技术要面对的基本问题，也是最核心的问题：就是海量数据如何可靠存储和高效计算。

1.2 Google的三驾马车

2003 GFS:The Google File System

2004 MapReduce: Simplified Data Processing on Large Clusters大型集群上的简单数据处理

2006 Bigtable:A Distributed Storage System for Structured Data一个分布式的结构化数据存储系统

1.2.1 GFS分布式文件系统的思想

GFS架构：

(1)GFS Master节点管理所有的文件系统元数据，包括命名空间，访问控制权，文件和块的映射信息以及当前块的位置信息。

(2)GFS存储的文件都被分割成固定大小的块，每个块都会被复制到多个块服务器上(可靠性)。块的冗余度默认为3.

(3)GFS Master还管理着系统范围内的活动，比如块服务器之间的数据迁移等。

(4)GFS Master与每个块服务器通信(发送心跳包)，发送指令，获取状态。

 副本的位置选择的策略要满足两个目标:最大化数据的可靠性和可用性。

1.2.2 MapReduce的思想 

 MapReuce采用“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个子书点共同完成，然后整合各个子节点的中间结果，得到最终的计算结果。MapReduce就是“分散任务，汇总结果”。

Map的输出是Reduce的输入

1.2.3 BigTable的思想

1.3 Hadoop的概述

1.3.1 Hadoop是什么？

(1)Hadoop是一个由Apache基金会所开发的分布式计算基础框架。

(2)主要解决，海量数据的存储和海量数据的分析计算问题。

(3)广义上来讲，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

1.3.2 Hadoop根据Google三篇论文实现

HDFS→GFS 

MapReduce→MapReduce 

HBase→BigTable

(1)HDFS :Hadoop Distributed File System,是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。它是对GFS论文的实现。

(2)MapReduce 和Google MapReduce是一样

(3)HBase

1.3.3 Hadoop的发展简史

Hadoop1.0,Hadoop2.0的区别在于多了YARN

1.3.4 Hadoop优势

①高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。

②高扩展性：在集群分配任务数据，可方便的扩展数以千计的节点。

③高效性：Hadoop是并行工作的，以加快任务处理速度

④高容错性：能够自动将失败的任务重新分配

1.3.5 Hadoop的特点

特点：①扩容能力强②成本低③高效率④可靠性

适合场景: 大数据分析；离线分析

不适合场景: 少量数据；复杂数据；在线分析

1.4 ✨Hadoop生态圈

组件	功能
HDFS	分布式文件系统
YARN	资源管理和调度器
MapReduce	分布式并行编程模型
HBase	Hadoop上的非关系型的分布式数据库
Hive	Hadoop上的数据仓库
Pig	一个基于Hadoop的大规模数据分析平台， 提供类似SQL的查询语言Pig Latin
Flume	一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统
Sqoop	用于在Hadoop与传统数据库之间进行数据传递
Zookeeper	提供分布式协调一致性服务
Spark	类似于Hadoop MapReduce的通用并行框架

1.4.1 HDFS的架构概述

NameNode:存储文件的元数据，如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。 

DataNode:在本地文件系统存储文件块数据， 以及块数据的校验和。

Secondary NameNode:每隔一段时间对NameNode元数据备份。

1.4.2 Yarn的架构概述

 ResourceManager:整个集群资源(内存、cpu等) 的老大；

NodeManager:单个节点服务器资源老大；

ApplicationMaster:单个任务运行的老大。(1)负责数据的切分(2)为应用程序申请资源并分配给内部任务。(3)任务的监控与容错。 

Container:容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、cpu, 磁盘、网络等。

1.4.3 MapReduce的架构概述

 MapReduce将计算过程分为两个阶段：Map和Reduce

Map阶段并行处理输入数据

Reduce阶段对Map结果进行汇总