写在前面

当大模型竞赛进入"百模大战"的下半场，单纯堆参数、拼算力的粗放式发展已经走到尽头。DeepSeek-V4 的出现，标志着大模型架构设计进入了一个全新的阶段——从"大力出奇迹"转向"巧力破瓶颈"。

本文将带你深入理解 DeepSeek-V4 的核心架构创新，包括：

• 混合注意力机制（CSA + HCA）如何实现百万 token 长上下文的高效处理
• 流形约束超连接（mHC）如何解决深层网络的训练稳定性问题
• Muon 优化器如何加速万亿参数模型的收敛
• 从预训练到后训练的完整技术链路

无论你是 AI 研究者、工程师，还是对前沿技术感兴趣的读者，相信都能从本文中获得有价值的洞察。

---

一、DeepSeek-V4 概览：两个版本，一个目标

DeepSeek-V4 系列包含两个模型版本，均原生支持 100 万 token 的上下文长度：

版本	总参数量	激活参数	训练数据	定位
V4-Pro	1.6T (1.6万亿)	49B (490亿)	33T tokens	旗舰性能，对标顶级闭源模型
V4-Flash	284B (2840亿)	13B (130亿)	32T tokens	轻量高速，主打高性价比

1.1 什么是 MoE（混合专家）架构？

在深入技术细节之前，让我们先用一个通俗的比喻理解 MoE 架构：

传统稠密模型就像一个"全能型医生"，无论什么病都要亲自诊断。而 MoE 模型则像一家"专科医院"，内部有数百位专科医生（专家），每次根据病情只请最相关的几位专家会诊。

DeepSeek-V4 内部有多达 384 个专家子网络，但每次处理一个 token 时，只激活 6 个最相关的专家。这种"按需激活"的设计，让模型在拥有万亿级参数的同时，实际计算量只有激活参数的规模。

1.2 核心升级一览

相比前代 V3，V4 在架构上做了三处关键升级：

---

二、混合注意力架构：破解长上下文的效率密码

2.1 长上下文的痛点

想象一下，你要在一本 100 万字的小说里找一个关键情节。传统的"逐字阅读"（标准注意力机制）意味着每个词都要和前面所有词做对比，计算量随长度平方增长——这在工程上是不可接受的。

DeepSeek-V4 的解决方案是 CSA（压缩稀疏注意力）+ HCA（重度压缩注意力） 的混合架构：

2.2 CSA：压缩稀疏注意力

CSA 的核心思想是先压缩，再稀疏选择：

第一步：Token 级压缩

• 每 4 个相邻 token 的 KV 缓存压缩成 1 个条目
• 压缩权重通过可学习的 Softmax 归一化确定
• 这样 100 万 token 就变成了 25 万个压缩条目

第二步：闪电索引器（Lightning Indexer）

• 用轻量级的索引器快速计算每个查询与压缩条目的相关性分数
• 只选择 top-k（Pro 版是 1024 个）最相关的压缩条目参与注意力计算
• 这样实际计算的注意力规模从百万级降到了千级

第三步：共享 KV 的多查询注意力（MQA）

• 被选中的压缩条目同时充当 Key 和 Value
• 多个 Query 头共享同一组 KV，进一步减少内存占用

2.3 HCA：重度压缩注意力

HCA 比 CSA 更激进：

• 压缩率更高：每 128 个 token 压缩成 1 个条目
• 不做稀疏选择：在压缩后的条目上做全量密集注意力
• 适合捕获粗粒度、长距离的依赖关系

CSA 和 HCA 交替使用，既能捕获细粒度的局部信息，又能建模长距离的宏观关系。

2.4 效率提升有多夸张？

在 100 万 token 上下文场景下：

指标	V4-Pro	V4-Flash	相比 V3.2
单 token 推理 FLOPs	27%	10%	大幅降低
KV Cache 大小	10%	7%	内存节省 90%+

这意味着，处理百万级上下文的计算成本，降到了原来的十分之一。

---

三、流形约束超连接：让深层网络训练更稳定

3.1 残差连接的进化

标准 Transformer 使用残差连接（Residual Connection）来缓解梯度消失问题：

输出 = 层输入 + 层输出

但当我们把网络堆得很深（V4-Pro 有 61 层）时，信号在多层之间传递仍然会出现不稳定。

3.2 超连接（HC）：拓宽信息高速公路

**标准超连接（HC）**的核心思想是：把层与层之间的"信息通道"从单车道扩建成多车道。

具体来说：

• 残差流的宽度扩展为原来的 n 倍（比如 4 倍）
• 引入三个映射矩阵：输入映射、残差变换、输出映射
• 层内计算仍然在原始维度上进行，不增加主干计算量

3.3 mHC：给信息 highway 加"交通规则"

标准 HC 的问题是：当网络堆叠得非常深时，残差变换矩阵容易失控，导致数值爆炸或梯度消失。

**流形约束超连接（mHC）**的解决方案是：

• 将残差变换矩阵约束在双随机矩阵流形上
• 双随机矩阵的特点是每行每列的和都是 1，且所有元素非负
• 这相当于给信息流动加了"守恒定律"：信号既不会放大也不会衰减

数学上，通过 Sinkhorn-Knopp 算法将任意矩阵投影到双随机矩阵流形：

1. 对矩阵元素取指数（保证正性）
2. 迭代进行行归一化和列归一化
3. 20 次迭代后收敛到双随机矩阵

3.4 效果与开销

• 训练稳定性：深层堆叠不再出现数值不稳定
• 计算开销：仅占整个 pipeline 的 6.7%，性价比极高
• 表达能力：在保持数值稳定的同时，保留了模型的表达能力

---

四、Muon 优化器：万亿参数模型的训练利器

4.1 为什么不用 AdamW？

AdamW 是大模型训练的标配优化器，但在万亿参数规模下：

• 二阶矩估计占用大量内存
• 收敛速度在超大规模下变慢

Muon 是一种基于正交化的优化器，核心思想是：让权重更新矩阵保持近似正交。

4.2 Muon 的核心算法

对于每个权重矩阵 W，Muon 的更新步骤：

1. 计算梯度 G_t
2. 累积动量：M_t = μ·M_{t-1} + G_t
3. 正交化：通过 Newton-Schulz 迭代将 M_t 近似正交化
4. 重缩放：按矩阵维度调整更新幅度
5. 权重衰减 + 更新

4.3 Newton-Schulz 迭代：快速正交化

Newton-Schulz 迭代是一种不需要 SVD 的矩阵正交化方法：

M_k = a·M_{k-1} + b·(M_{k-1}·M_{k-1}^T)·M_{k-1} + c·(M_{k-1}·M_{k-1}^T)^2·M_{k-1}

V4 采用两阶段策略：

• 前 8 步：快速收敛，将奇异值逼近 1
• 后 2 步：精确稳定，将奇异值固定在 1

4.4 混合策略

并非所有参数都用 Muon：

• Muon：大部分权重矩阵
• AdamW：Embedding、预测头、RMSNorm、mHC 静态偏置

这种混合策略兼顾了收敛速度和训练稳定性。

---

五、预训练：从数据到 Base 模型

5.1 数据构建

V4 在 V3 数据基础上，构建了更多样、更高质量的训练语料：

• 过滤自动化内容：避免模型坍缩到模板化输出
• 强化数学与编程：核心能力的基础
• 增加 Agentic 数据：中期训练加入
• 扩充长文档：科学论文、技术报告
• 多语言语料：提升跨文化长尾知识

总计 超过 32T tokens，词表大小 128K。

5.2 训练配置

配置项	V4-Flash	V4-Pro
层数	43	61
隐藏维度	4096	7168
路由专家数	256	384
每 token 激活专家	6	6
训练 tokens	32T	33T
序列长度阶段	4K → 16K → 64K → 1M	4K → 16K → 64K → 1M

5.3 训练稳定性技巧

训练万亿参数 MoE 模型面临严重的稳定性挑战，V4 采用两项关键技术：

1. 预期路由（Anticipatory Routing）

• 用历史参数计算路由索引，避免路由与骨干更新的恶性循环
• 自动检测 loss spike 触发，正常训练后自动恢复

2. SwiGLU 钳位

• 对 SwiGLU 激活值进行范围限制（-10 到 10）
• 有效消除离群值，不损害模型性能

---

六、后训练：从 Base 到 Chat 模型

6.1 两阶段范式

V4 的后训练采用 "先分训专家 → 再统一蒸馏" 的两阶段范式：

阶段一：领域专家培养

• 对每个目标领域（数学、代码、Agent、指令跟随）独立训练专家模型
• 先 SFT 建立基础能力，再用 GRPO 强化学习优化

阶段二：统一模型蒸馏

• 通过 On-Policy Distillation（OPD）将多个专家融合为统一模型
• 学生模型从教师模型学习，优化反向 KL 散度

6.2 三种推理模式

V4 支持三种推理模式，适应不同场景：

模式	特点	适用场景	上下文窗口
Non-think	快速直觉回答，无思考链	日常任务、低风险决策	8K
Think High	有意识逻辑分析	复杂问题、规划	128K
Think Max	推理推到极限	探索模型能力边界	384K

6.3 生成式奖励模型（GRM）

V4 摒弃传统标量奖励模型，采用生成式奖励模型：

• Actor 网络本身即作为 GRM
• 同时优化评估能力和生成能力
• 仅需最少多样化人工标注即可获得优异性能

---

七、性能表现：跻身全球第一梯队

7.1 知识能力

Benchmark	V4-Pro-Max	说明
MMLU-Pro	87.5	多学科理解
SimpleQA	57.9	简单问答，超越其他开源模型 20 个百分点
GPQA Diamond	90.1	专家级科学问答

7.2 推理与编程

Benchmark	V4-Pro-Max	说明
LiveCodeBench	93.5	代码生成
Codeforces Rating	3206	人类选手中排第 23 名
HMMT 2026 Feb	95.2	数学竞赛

在代码竞赛上首次追平闭源模型，这是开源社区的重要里程碑。

7.3 Agent 能力

Benchmark	V4-Pro-Max	说明
Terminal Bench 2.0	67.9	终端操作
SWE Verified	80.6	软件工程
MCPAtlas Public	73.6	工具调用

在开源模型中排名第一，工具泛化能力强。

7.4 百万 Token 上下文

Benchmark	V4-Pro-Max	Gemini-3.1-Pro	Claude Opus 4.6
MRCR 1M	83.5	76.3	92.9
CorpusQA 1M	62.0	53.8	71.7

在学术 benchmark 上超越 Gemini，但仍落后于 Claude。128K 以内性能极其稳定。

7.5 形式化数学

• Putnam-200：V4-Flash-Max 达到 81.00（远超其他模型）
• Putnam-2025：V4 达到 120/120 满分，与 Axiom 并列第一

---

八、部署与成本

8.1 硬件需求

作为超大规模 MoE 模型，本地部署需要专业数据中心级别硬件：

版本	最低配置	备注
V4-Flash	2 块 H100 80GB（FP8）	量化后可在 1 块 H100 运行
V4-Pro	至少 16 块 H100 GPU	旗舰版需要集群支持

8.2 算力生态

V4 首次明确支持 华为昇腾（Ascend），打破了高端 AI 芯片的垄断。NVIDIA 也宣布其 Blackwell 平台已完美适配 V4。

8.3 API 定价

DeepSeek-V4 的 API 定价极具竞争力：

• 输入：1 元 / 百万 token（命中缓存）
• 输出：24 元 / 百万 token

但要注意，V4 有"Token 消耗大"的特点，完成一次标准测试的输出量高达 1.9 亿（Pro）到 2.4 亿（Flash）Token，这可能抵消其低单价优势。

---

九、关键创新点总结

#	创新	核心价值
1	CSA + HCA 混合注意力	百万 token 上下文的计算和存储效率飞跃
2	流形约束超连接 mHC	深层网络数值稳定，开销仅 6.7%
3	Muon 优化器	首次在万亿参数 MoE 上成功应用
4	MegaMoE 超级内核	通信-计算完全重叠，推理加速高达 1.96×
5	FP4 量化感知训练	MoE 专家 + 索引器 QK 双重 FP4 量化
6	预期路由	解耦路由与骨干更新，稳定训练
7	On-Policy Distillation	替代混合 RL，全词表 logit 蒸馏更稳定
8	生成式奖励模型 GRM	Actor 即 Judge，最少标注获得最强评估能力
9	1M 上下文成为标配	从 V3.2 的 128K 跃升到 1M，且效率更高

---

十、总结与展望

DeepSeek-V4 不是一次参数规模的暴力扩展，而是一次系统性的架构重设计：

• CSA/HCA 混合注意力解决了百万上下文的效率瓶颈
• mHC解决了极深网络的训练稳定性
• Muon 优化器提升了收敛速度
• OPD替代混合 RL 实现了更平滑的多专家能力融合

更重要的是，这些创新是开源的。模型权重在 HuggingFace 以 MIT 协议开放，技术细节完全透明。

未来展望

1. 长上下文将成为标配：100 万 token 不再是噱头，而是实用功能
2. 效率优先于规模：架构创新比单纯堆参数更重要
3. 开源与闭源差距缩小：V4 在代码竞赛上追平闭源模型，预示着开源社区的崛起
4. 国产算力生态崛起：华为昇腾的支持标志着国产 AI 芯片的成熟

DeepSeek-V4 的出现，让我们看到了大模型发展的另一种可能：用精巧的架构设计，而非 brute-force 的算力堆砌，来实现性能的突破。这或许才是 AI 技术可持续发展的正确道路。