CPU、GPU、NPU 到底怎么分工？一图看懂现代算力三驾马车

CSDN观熵

9165人浏览 · 2025-11-09 16:00:00

CSDN观熵 · 2025-11-09 16:00:00 发布

CPU、GPU、NPU 到底怎么分工？一图看懂现代算力三驾马车

摘要

现在随便看一块芯片/一台设备的宣传页，基本都会出现三个词：CPU、GPU、NPU。
但它们到底是怎么分工的？

为什么大模型训练要上 GPU，而不是一味堆很多核的 CPU？
为什么手机里明明有 GPU，还要再塞一个 NPU？
做端侧 AI / 智能眼镜 / 车机方案时，什么算在 CPU，什么放 GPU，什么扔给 NPU？

这篇文章用一张系统结构图，把三者在 SoC / 服务器里的位置和职责讲清楚，再从架构视角梳理：
谁负责“算”、谁负责“管”、谁负责“省电”，以及它们如何协同跑完一次 AI 任务。

1. 一图看懂：CPU、GPU、NPU 在系统里的位置

先不谈细节，看一张简化的 SoC / 系统结构图：

在大多数现代系统中，可以粗暴地概括成一句话：

CPU 负责“管事”，GPU 负责“算图/算大矩阵”，NPU 负责“高效算 AI 算子”。

但真实分工要精细得多，我们分别看。

2. CPU：通用大脑——强控制、强灵活、弱并行

2.1 CPU 的特点

CPU（Central Processing Unit） 是系统的“通用大脑”：

支持复杂指令集（ISA），能跑操作系统、驱动、虚拟机、脚本解释器等；
有丰富的控制流能力：分支预测、乱序执行、异常处理、系统调用；
对单线程/少量线程的单核延迟很敏感，善于处理逻辑复杂、不规则的任务。

简单说，CPU 的设计目标是：

什么都能干，只是有些活不一定干得又快又省电。

典型结构会长这样（高度抽象）：

2.2 CPU 适合干什么？

适合：

操作系统调度、任务管理、驱动逻辑；
网络协议栈、RPC 调用、业务逻辑；
各种“if / else 很多”的控制型代码；
少量但延迟敏感的计算任务（比如一次性算一个小结果）。

不擅长：

巨量、规则、重复的数值计算（大矩阵乘、卷积）；
需要同时“喂饱”上万并行计算单元的工作负载。

所以在现代系统中，一般是：

CPU 决定干什么、什么时候干、谁去干，
真正“大规模搬砖”的活交给 GPU/NPU 这种“工人密集型单元”。

3. GPU：图形 + 通用大并行——擅长把大矩阵“拍扁”

3.1 GPU 的本职：图形渲染

GPU（Graphics Processing Unit） 本来是为图形渲染设计的：

屏幕上成千上万个像素 / 顶点 / 三角形，要做相似的数学运算；
典型操作是矩阵变换、纹理采样、光照计算；
天然适合用同一套指令对一大批数据并行执行。

所以 GPU 采用了和 CPU 非常不同的架构：

大量的并行“计算核心”（SM/CU 等）；
每个核心里面又包含很多执行线程（分组执行，SIMT/SIMD）；
硬件负责把同一段指令同时喂给一组线程，只是数据地址不同。

可以抽象成：

3.2 通用计算（GPGPU）时代：矩阵乘、卷积、张量运算

当大家发现：

AI 训练/推理里那一堆矩阵乘、卷积，本质上和图形渲染一样“数据并行”，

GPU 就开始被用来做 GPGPU（通用 GPU 计算）：

把模型里的算子（GEMM、Conv 等）编译成 GPU 内核（kernel）；
每个 kernel 启动很多线程/warp，分片处理矩阵块 / feature map 块；
同时利用 GPU 的高带宽显存（GDDR/HBM 等）。

3.3 GPU 适合干什么？

适合：

大批量、同构的数据并行任务：
- 大矩阵乘、卷积、批量点积；
- 图像处理、视频处理、物理模拟等。
GPU 擅长把简单的算子重复做很多次，追求吞吐。

不擅长：

分支复杂、数据依赖强、不规则访问的逻辑；
需要严格、极端低延迟的小任务（频繁启动 kernel 会有开销）。

可以这么总结：

GPU 是“把一大块砖切成很多小砖头，招一群工人一起搬”的高手，
非常适合训练/大批量推理这类吞吐优先的场景。

4. NPU：为 AI 定制的“矩阵/张量流水线机器”

4.1 NPU 是什么？

NPU（Neural Processing Unit / AI 加速器） 不是单一标准，而是一类设计思路：

观察到深度学习算子高度集中在：矩阵乘、卷积、激活、归一化等；
把这些算子“固化”为若干数据路径 / 运算阵列；
用专门的指令 / 控制流，让数据以特定模式在阵列里流动；
大量使用低精度（FP16、BF16、INT8 等），追求能效比（性能 / 功耗）。

典型架构里，会看到这样一块“算术阵列”：

graph TD
    CTRL[控制单元 / 指令解码] --> TILE[Tiling/任务切分]
    TILE --> BUF_IN[输入Buffer/SRAM]
    TILE --> BUF_W[权重Buffer/SRAM]
    BUF_IN --> MAC[MAC矩阵阵列<br/>(乘累加)]
    BUF_W --> MAC
    MAC --> ACCU[累加器/寄存器]
    ACCU --> BUF_OUT[输出Buffer/SRAM]
    BUF_OUT --> DMA[DMA/互联]

4.2 NPU 相对 GPU 的几个特点（通常情况）

注意：不同厂商实现差异很大，这里说的是常见趋势。

专用性更强
- 指令集、数据路径为 AI 算子量身定制；
- 不适合跑操作系统、图形渲染那种“奇怪代码”。
数据流更固定、可预测
- 大多通过编译器把模型转换成若干“计算图 + 数据流图”；
- 知道每个算子需要哪块数据、怎么 tile、怎么重用。
能效更高
- 为低精度运算、规整的数据重用优化；
- 在相同功耗下给出更高的 AI 特定算力（TOPS/W）。
编程模型更“高层”
- 一般通过框架 / SDK / 编译器来驱动；
- 业务工程师不会直接写 NPU 汇编，而是丢一个模型进去，让工具链做映射。

4.3 NPU 适合干什么？

适合：

端侧 / 边缘设备上的 AI 推理：
- AI 相机（人像分割、HDR、夜景）；
- 语音识别 / 语音合成；
- 端侧小/中模型的推理；
- 车载辅助驾驶中的一部分感知/识别任务。

不适合/不一定适合：

大规模、频繁变化的训练任务；
工作负载不只包含标准 AI 算子的复杂 pipeline；
需要非常灵活、频繁修改算子/算子组合的研发阶段。

一句话概括：

NPU 是“为特定类型 AI 算法修了一条专用高速公路”，
上高速的车开得又快又省油，但不适合买菜绕小路。

5. 三者和内存/带宽的关系：谁爱 Cache，谁更看中带宽

结合前几篇讲的内容，可以从“内存/带宽”的角度看三者的关系：

5.1 CPU：高度依赖多级 Cache

有 L1/L2/L3/LLC 等多层缓存；
通过高命中率减少对外部内存的访问；
Cache 失效（miss）会让 CPU 性能大幅受影响。

5.2 GPU：既要 Cache，又要大带宽显存

一般有一定层次的 Cache / L2；
但真正关键是：外部显存/ HB M 的总带宽要足够大；
内核设计要配合：合并访问、tile 数据、用片上共享存储重用数据。

5.3 NPU：高度依赖片上 Buffer + 外部带宽配合

常见做法是给 NPU 很可观的片上 SRAM，专门缓存 tile 后的数据；
编译器负责规划“哪块数据什么时候进阵列”，充分挖掘重用；
外部带宽仍然关键：只不过访问模式更“可规划”、更流式。

可以用一句非常粗暴但实用的总结：

CPU：Cache 和分支预测是命门；
GPU：显存带宽 + 内核设计是命门；
NPU：片上 Buffer + 带宽预算 + 编译器数据流规划是命门。

6. 几个典型场景：到底让谁上场？

6.1 手机 / 智能眼镜：端侧 AI 推理

场景：

AI 相机（美颜、分割、去噪、HDR）；
局部/小模型推理：语音助手、OCR、简单对话；
多媒体增强（超分、插帧、降噪）。

常见分工：

CPU：
- 安卓框架、系统服务、业务逻辑；
- 调用 Camera / NPU / GPU，控制 pipeline。
GPU：
- UI 渲染、三维图形、小游戏、特效；
- 少部分图像/视频后处理算子。
NPU：
- 主要的 AI 算子（CNN、Transformer 推理等）；
- 要求在严格功耗预算下完成实时处理（例如：预览 30/60fps）。

6.2 云端训练 / 大模型推理

场景：

大规模训练（数十亿〜上千亿参数）；
高频、多用户并发推理。

常见分工：

CPU：
- 管理集群、调度任务、处理网络 I/O；
- 做数据预处理、部分控制逻辑。
GPU：
- 训练主力，跑大矩阵乘/注意力等算子；
- 高带宽 HBM + 大阵列 MAC。
NPU / 专用加速卡（视厂商而定）：
- 某些厂商用自研 NPU/TPU 类芯片做训练/推理；
- 设计目标是比通用 GPU 更高的能效比和更适配的指令集。

6.3 车载 / 边缘盒子

场景：

多路摄像头 + 雷达 + 传感器融合；
实时识别、规划、控制。

常见分工：

CPU：
- 运行操作系统、车辆控制逻辑、通信协议等；
- 统筹“大脑决策”部分。
GPU：
- 注重一些图形 UI / 3D 建模/可视化；
- 在部分方案中也参与一部分 AI 算子。
NPU：
- 持续跑感知网络（检测、分割、跟踪）；
- 强调“实时 + 功耗 + 可靠性”。

7. 三者协同：一次 AI 任务在系统里的“接力赛”

用一个简化的顺序图，来看看一次标准 AI 推理（比如手机上的 AI 相机增强）大致怎么在三者之间流转：

在这个接力里：

**CPU 像是调度员 + 交通指挥：**负责“模型什么时候跑、在哪跑、跑完以后结果去哪”；
**NPU 像是 AI 专用流水线工厂：**接到任务就按既定数据流高速加工；
**GPU 像是图形/大并行业务的多面手：**负责 UI、渲染、部分通用并行任务。

8. 如何根据工作负载来判断“该用谁”？（给架构/工程师的快速决策思路）

你可以从四个维度快速判断：

控制流 vs 数据并行
- 分支多、流程复杂、不规则 → 先想 CPU；
- 一堆相同运算砸在大数组/大矩阵上 → GPU/NPU。
吞吐 vs 延迟
- 吞吐优先（一次算很多，允许排队） → GPU/NPU；
- 极端低延迟（一次只算一点点，但要马上出结果） → CPU 或少量特化加速。
算子形态 & 模型稳定性
- 典型深度学习算子（Conv/GEMM/Attention）、模型结构相对稳定 → 很适合 NPU；
- 算子种类多、结构变化快 → GPU 更适合作为实验平台。
能耗 / 体积 / 成本约束
- 电池设备 / 小体积 / 被动散热 → NPU 优先承担 AI 算子；
- 机房、主动散热、功耗预算大 → GPU/高算力卡更有空间。

一个极简的“口头版”决策表可以是：

“先问：这是 AI 算子吗？”
- 不是 → CPU / GPU 通用计算问题；
- 是 → 再问下面三个：
  - 是否在端侧、功耗紧？→ 优先 NPU
  - 是否在云端、大模型？→ 优先 GPU（或厂商专用 AI 芯片）
  - 是否结构频繁变化？→ 先用 GPU 验证，再考虑做 NPU 适配

9. 小结：三驾马车的稳定分工

最后把这篇的核心内容压缩成几句话，方便你在脑子里形成“系统版本的”结论：

CPU = 通用大脑
- 强控制、强灵活、弱并行，负责 OS、调度、逻辑、协议；
- 适合复杂、多变、小规模但延迟敏感的任务。
GPU = 并行怪兽
- 为图形而生，为矩阵而兴，擅长大规模数据并行；
- 训练、大批量推理、图形/视频处理的主力。
NPU = 为 AI 算子定制的流水线
- 固化了矩阵/卷积等数据路径，追求能效比；
- 在端侧/车载/边缘设备的 AI 推理上越来越重要。
三者不是互相替代，而是互相补位
- CPU 管事，GPU/NPU 干活；
- GPU 更通用、NPU 更省电；
- 具体怎么搭配，要看你的场景：云 / 端 / 车 / 眼镜 / 盒子，各有最合适的组合。

个人简介

作者简介：全栈研发，具备端到端系统落地能力，专注人工智能领域。
个人主页：观熵
个人邮箱：privatexxxx@163.com
座右铭：愿科技之光，不止照亮智能，也照亮人心！

专栏导航

观熵系列专栏导航：
具身智能：具身智能
国产 NPU × Android 推理优化：本专栏系统解析 Android 平台国产 AI 芯片实战路径，涵盖 NPU×NNAPI 接入、异构调度、模型缓存、推理精度、动态加载与多模型并发等关键技术，聚焦工程可落地的推理优化策略，适用于边缘 AI 开发者与系统架构师。
DeepSeek国内各行业私有化部署系列：国产大模型私有化部署解决方案
智能终端Ai探索与创新实践：深入探索智能终端系统的硬件生态和前沿 AI 能力的深度融合！本专栏聚焦 Transformer、大模型、多模态等最新 AI 技术在智能终端的应用，结合丰富的实战案例和性能优化策略，助力智能终端开发者掌握国产旗舰 AI 引擎的核心技术，解锁创新应用场景。
企业级 SaaS 架构与工程实战全流程：系统性掌握从零构建、架构演进、业务模型、部署运维、安全治理到产品商业化的全流程实战能力
GitHub开源项目实战：分享GitHub上优秀开源项目，探讨实战应用与优化策略。
大模型高阶优化技术专题
 AI前沿探索：从大模型进化、多模态交互、AIGC内容生成，到AI在行业中的落地应用，我们将深入剖析最前沿的AI技术，分享实用的开发经验，并探讨AI未来的发展趋势
AI开源框架实战：面向 AI 工程师的大模型框架实战指南，覆盖训练、推理、部署与评估的全链路最佳实践
计算机视觉：聚焦计算机视觉前沿技术，涵盖图像识别、目标检测、自动驾驶、医疗影像等领域的最新进展和应用案例
国产大模型部署实战：持续更新的国产开源大模型部署实战教程，覆盖从模型选型 → 环境配置 → 本地推理 → API封装 → 高性能部署 → 多模型管理的完整全流程
Agentic AI架构实战全流程：一站式掌握 Agentic AI 架构构建核心路径：从协议到调度，从推理到执行，完整复刻企业级多智能体系统落地方案！
云原生应用托管与大模型融合实战指南
 智能数据挖掘工程实践
 Kubernetes × AI工程实战
 TensorFlow 全栈实战：从建模到部署：覆盖模型构建、训练优化、跨平台部署与工程交付，帮助开发者掌握从原型到上线的完整 AI 开发流程
PyTorch 全栈实战专栏： PyTorch 框架的全栈实战应用，涵盖从模型训练、优化、部署到维护的完整流程
深入理解 TensorRT：深入解析 TensorRT 的核心机制与部署实践，助力构建高性能 AI 推理系统
Megatron-LM 实战笔记：聚焦于 Megatron-LM 框架的实战应用，涵盖从预训练、微调到部署的全流程
AI Agent：系统学习并亲手构建一个完整的 AI Agent 系统，从基础理论、算法实战、框架应用，到私有部署、多端集成
DeepSeek 实战与解析：聚焦 DeepSeek 系列模型原理解析与实战应用，涵盖部署、推理、微调与多场景集成，助你高效上手国产大模型
端侧大模型：聚焦大模型在移动设备上的部署与优化，探索端侧智能的实现路径
行业大模型 · 数据全流程指南：大模型预训练数据的设计、采集、清洗与合规治理，聚焦行业场景，从需求定义到数据闭环，帮助您构建专属的智能数据基座
机器人研发全栈进阶指南：从ROS到AI智能控制：机器人系统架构、感知建图、路径规划、控制系统、AI智能决策、系统集成等核心能力模块
人工智能下的网络安全：通过实战案例和系统化方法，帮助开发者和安全工程师识别风险、构建防御机制，确保 AI 系统的稳定与安全
智能 DevOps 工厂：AI 驱动的持续交付实践：构建以 AI 为核心的智能 DevOps 平台，涵盖从 CI/CD 流水线、AIOps、MLOps 到 DevSecOps 的全流程实践。
C++学习笔记？：聚焦于现代 C++ 编程的核心概念与实践，涵盖 STL 源码剖析、内存管理、模板元编程等关键技术
AI × Quant 系统化落地实战：从数据、策略到实盘，打造全栈智能量化交易系统
大模型运营专家的Prompt修炼之路：本专栏聚焦开发 / 测试人员的实际转型路径，基于 OpenAI、DeepSeek、抖音等真实资料，拆解从入门到专业落地的关键主题，涵盖 Prompt 编写范式、结构输出控制、模型行为评估、系统接入与 DevOps 管理。每一篇都不讲概念空话，只做实战经验沉淀，让你一步步成为真正的模型运营专家。