扩展法则（Scaling Laws）可以理解为大模型领域的“黄金法则”。它揭示了模型的性能与模型规模、数据量和计算资源之间遵循一种可预测的幂律关系。简单来说，就是只要同步扩大这三个要素，模型的能力就会稳定提升。

这项发现为大模型的持续"膨胀"提供了理论依据，也是GPT系列能够不断突破的关键。下面，我们来梳理这个法则的核心内容与最新发展。

OpenAI与DeepMind的里程碑

扩展法则的研究最早由OpenAI和DeepMind奠定基础，它们提出了两个核心公式：

扩展法则的演进

经典的扩展法则主要针对的是密集（Dense）模型（即每个任务都激活全部参数）。但随着模型越来越大，训练成本激增，稀疏（Sparse）模型成为新的主流。最典型的代表就是混合专家模型（MoE）。

对于MoE这类稀疏模型，扩展法则需要考虑更多因素，变得更加复杂：

• 影响因素增多：除了总参数量 ，还需要考虑激活参数量（每个Token实际使用的参数）、专家数量、稀疏度等。

• 最优配置变化：研究表明，随着模型总规模的增大，最优的激活参数量比例会变得越来越稀疏，以追求更高的效率。

此外，最新的研究也在探索新的维度。例如，动力学扩展定律发现在推理阶段，性能瓶颈不再是参数量，而是注意力机制的计算成本。通过引入稀疏注意力，可以在相同资源下支持更长的文本生成，将问题解决率提升高达60% -3。还有研究提出了并行扩展定律（ParScale），通过并行计算路径来提升模型能力，效率比单纯扩大参数量更高。

💡 反思与未来：扩展法则会失效吗？

随着DeepSeek等模型以更低的成本实现强大性能，业界开始重新审视"越大越好"的信条。扩展法则是否已撞上"数据墙"？

• 数据墙与边际递减：高质量的公网文本数据是有限的，这成为继续扩大规模的主要瓶颈。单纯增加参数，性能提升可能开始边际递减。

• 从"规模"到"密度"：清华大学和面壁智能团队提出的"密度法则"  指出，大模型的能力密度正以指数级速度增长（约每3.5个月翻一倍）。这意味着，未来的方向可能不再是盲目追求"更大的块头"，而是追求"更高的密度"——用更精炼的参数实现更强的智能。

• 迈向"世界模型"：下一个突破点或许不是继续堆砌语言数据，而是让模型学习世界的因果规律，即构建"世界模型" 。届时，扩展的维度将从"文字预测"转向"模拟现实"的逼真度和准确性。

 总结

总的来说，经典的扩展法则指导了过去几年大模型的野蛮生长，证明了规模的力量。而现在，我们正处在一个新的十字路口：一方面，对稀疏模型、推理阶段的新扩展法则的研究正在深化；另一方面，对"模型密度"和"世界模型"的探索，预示着后扩展法则时代的多样性可能。