Hadoop 部署模式对比

本地模式（Local Mode）

• 特点：无需分布式环境，所有进程运行在单个JVM中，适用于开发和调试。
• 优点：配置简单，资源消耗低，适合快速验证代码逻辑。
• 缺点：无法发挥Hadoop分布式计算能力，性能受限。

伪分布式模式（Pseudo-Distributed Mode）

• 特点：模拟完全分布式环境，所有守护进程（如NameNode、DataNode）运行在同一台机器。
• 优点：接近生产环境的行为，适合学习Hadoop架构和功能测试。
• 缺点：资源利用率低，无法横向扩展。

完全分布式模式（Fully Distributed Mode）

• 特点：多节点集群部署，各组件分散在不同物理机器，适用于生产环境。
• 优点：高可用、高扩展性，支持大规模数据处理。
• 缺点：部署和维护复杂，需硬件资源支持。

Hadoop 核心组件介绍

HDFS（Hadoop Distributed File System）

• 功能：分布式文件存储系统，将大文件分块存储在多个节点。
• 关键组件：
  • NameNode：管理文件系统元数据（如目录树、块位置）。
  • DataNode：存储实际数据块，定期向NameNode汇报状态。

YARN（Yet Another Resource Negotiator）

• 功能：集群资源管理和任务调度框架。
• 关键组件：
  • ResourceManager：全局资源调度器，分配集群资源。
  • NodeManager：单节点资源监控与任务执行代理。

MapReduce

• 功能：分布式计算模型，分为Map（数据映射）和Reduce（结果汇总）阶段。
• 特点：适合批处理场景，但迭代计算效率较低（需多次I/O）。

部署模式对比表

| 对比项 | 本地模式 | 伪分布式模式 | 完全分布式模式 |
|-------------------|-------------------|---------------------|---------------------|
| 适用场景 | 开发调试 | 功能测试/学习 | 生产环境 |
| 节点数量 | 1 | 1（多进程） | ≥3（高可用需更多） |
| 性能 | 最低 | 中等 | 最高 |
| 配置复杂度 | 简单 | 中等 | 复杂 |
| 资源需求 | 低（单机） | 中等（单机多进程） | 高（多机集群） |

组件协同示例

1. 数据写入：客户端通过HDFS API将文件分块存储到DataNode，NameNode记录元数据。
2. 任务提交：MapReduce程序通过YARN申请资源，ResourceManager分配Container运行Task。
3. 计算执行：Map任务读取HDFS数据，Reduce任务汇总结果写回HDFS。

代码片段（HDFS文件操作）

Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path path = new Path("/input/data.txt");
FSDataInputStream in = fs.open(path); // 读取文件

公式示例（MapReduce数据分片）
输入数据分片大小通常由HDFS块大小（默认128MB）决定：
[ \text{分片数} = \lceil \frac{\text{文件总大小}}{\text{HDFS块大小}} \rceil ]

以上内容综合了部署模式差异、组件功能及实际应用场景，可根据具体需求调整细节。