论文：Training Language Models via Neural Cellular Automata
作者：Dan Lee, Seungwook Han, Akarsh Kumar, Pulkit Agrawal（MIT · Improbable AI Lab）
链接：arXiv:2603.10055 · 代码

自然语言 pre-training 的三重困境

大型语言模型（LLMs）的能力主要在 pre-training 阶段习得。规模定律（scaling laws）告诉我们，模型越大、数据越多，性能越好。然而这条路正在逼近三个硬性天花板。

• 高质量文本有限。Will We Run Out of Data? Limits of LLM Scaling Based on Human-Generated Data（2022）预测，人类产出的高质量文本将在 2028 年前被耗尽。继续沿现有路线扩张，所需数据量呈指数增长，但供给却是有限的。
• 人类偏见的污染。自然语言是人类认知的有损记录，内嵌了各类社会偏见。使用这些数据训练的模型在对齐方面面临持续挑战，而清洗和筛选数据本身代价高昂。
• 知识与推理的纠缠。语言模型在自然文本上学习时，无法将"事实性知识"与"推理能力"解耦，两者以难以分离的方式混合在同一参数空间中。

这三重困境共同指向一个根本问题：自然语言是通往智能的唯一路径吗？

本文作者的答案是：不是。他们提出用神经元胞自动机（Neural Cellular Automata，NCA）生成的纯合成数据，对语言模型进行"pre-pre-training"，即在接触任何自然语言之前，先让模型在合成的时空结构数据上完成一轮训练。

核心假设：结构比语义更重要

在深入方法之前，有必要理解这项工作背后的核心理论假设。

作者认为，LLMs 中涌现的推理能力（few-shot learning、chain-of-thought 等），其本质依赖的是自然语言的底层计算结构，而非其语义内容本身。

自然语言文本之所以有用，不是因为它谈论的是人类世界，而是因为它蕴含了从推理轨迹到程序性指令的多样结构。next-token prediction 迫使模型内化支持这些结构的潜在计算过程。(Language modeling is compression，A latent space theory for emergent abilities in large language models)

基于这一假设，如果能够人工合成一种数据，使其：

1. 具有与自然语言相似的统计结构 (Learning to see by looking at noise) 如近似的尺度不变性 (Relations between the statistics of natural images and the response properties of cortical cells) 或者 Zipfian 分布 (Data distributional properties drive emergent in-context learning in transformers，Human behavior and the principle of least effort)；
2. 蕴含丰富且多样的时空规律；
3. 能够系统性地控制复杂度；
4. 可以无限低成本地生成，

那么这种数据就有可能替代自然语言承担"结构学习"的功能。

这个想法的支撑来自两个方向：

• 视觉领域已有工作证明，在分形、噪声等合成图像上预训练的视觉模型能够向真实图像迁移（Procedural Image Programs for Representation Learning）；
• 理论上，An Explanation of In-Context Learning as Implicit Bayesian Inference 证明了 in-context learning 等价于对潜在规律的隐式 Bayesian 推断，而这一推断机制与数据的语义无关，只与其统计结构有关。

Neural Cellular Automata（NCA）是什么？

NCA 是经典 Conway 生命游戏的神经网络泛化版本。在经典 cellular automata（CA）中，每个格子的状态根据固定规则更新；而在 NCA 中，这个规则被替换为一个参数化的神经网络 $f_{\theta }$。

基本设置

本文使用 $12\times 12$ 的二维离散网格，周期性边界条件（左右、上下循环相连），状态字母表大小 $n=10$（每个格子可以处于 10 种状态之一，用 10 维 one-hot 向量表示）。

转移动态由神经网络 $f_{\theta }$ 控制，将每个格子的 $3\times 3$ 邻域映射到下一时刻状态的概率分布：

$$c_i^{(t+1)}\sim \text{softmax}\left(\frac{f_{\theta }\left(c_{N(i)}^{(t)}\right)}{\tau }\right)$$

其中 $c_i^{(t)}$ 是格子 $i$ 在时刻 $t$ 的状态，$N(i)$ 是其 $3\times 3$ 邻域，$\tau =10^{-3}$ 是一个极小的温度参数——使采样几乎确定性（几乎总是选取 logit 最大的状态），同时保留极微小的随机性。

$f_{\theta }$ 的网络结构为：$3\times 3$ 卷积（4 channels）$\to$ cell-wise MLP（hidden size 16，ReLU 激活）$\to$ 输出 10 个 logits。

多样性的来源

每生成一条训练序列，$\theta$ 和初始状态 $c^{(0)}$ 都会随机重新采样：

• $\theta$：网络权重随机初始化；
• $c^{(0)}$：每个格子的初始状态从 { 0 , 1 , … , 9 } \{0, 1, \ldots, 9\} {0,1,…,9} 均匀采样。

这意味着每条序列都是由一套独特的"物理定律"驱动的——模型无法记忆具体规则，只能在每条序列的 context 中实时推断。这一设计刻意对齐了 in-context learning 的 Bayesian 框架。

复杂度的控制

NCA 动态的复杂度差异巨大：有些 $\theta$ 会让格子快速收敛到固定点或短周期循环（低熵、低复杂度），有些则会产生混沌、不可预测的时空结构（高熵、高复杂度）。

作者使用 gzip 压缩率作为复杂度的实用度量——由于 Lempel-Ziv 压缩提供了 Kolmogorov 复杂度的可计算上界（An Introduction to Kolmogorov Complexity and Its Applications），gzip 压缩率是序列内在复杂度的合理代理指标：
$$r=\frac{\text{compressed bytes}}{\text{raw bytes}}\times 100\%$$

• 压缩率低（$r\approx 20\%$）意味着序列高度规律、可压缩性强
• 压缩率高（$r\ge 50\%$）意味着序列具有丰富的不可压缩结构

默认筛选策略：保留 $r\ge 50\%$ 的序列（50%+ 复杂度带）用于 pre-pre-training。

从格子状态到语言模型 Token

NCA 产生的是一个二维的离散格子序列，而语言模型需要的是一维的整数 token 序列。这中间需要一套 tokenization 方案。

Patch Tokenization

参考 Vision Transformer（An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale）的 patch tokenization 思路，作者将每个时间步的 $12\times 12$ 格子用非重叠的 $2\times 2$ patch切分，每个 patch 包含 4 个格子。每个 patch 内的 4 个格子状态各取 { 0 , … , 9 } \{0, \ldots, 9\} {0,…,9}，将其组合为一个整数（双射映射）：
$$\text{token\_id}=s_1\cdot 10^3+s_2\cdot 10^2+s_3\cdot 10+s_4$$

其中 s 1 , s 2 , s 3 , s 4 ∈ { 0 , … , 9 } s_1, s_2, s_3, s_4 \in \{0, \ldots, 9\} s1​,s2​,s3​,s4​∈{0,…,9} 是 patch 内四个格子的状态。这样产生的词汇表大小恰好为 $10^4=10000$ 个 patch token。$12\times 12$ 的网格被切分成 $6\times 6=36$ 个 patch，每个时间步贡献 36 个 token。

序列构造

每个时间步的 36 个 patch token 按行优先顺序排列，并在两端加上特殊分隔符：
$$⟨\text{grid}⟩,\underset{\text{36 patch tokens}}{\underbrace{p_1,p_2,\dots ,p_{36}}},⟨/\text{grid}⟩$$

多个时间步首尾拼接，截断至最长 1024 tokens，构成一条训练序列。每条序列约覆盖 $\lfloor 1024/38\rfloor \approx 27$ 个时间步的 NCA 演化过程。

训练目标

与语言模型的 pre-training 完全一致，使用标准的自回归 cross-entropy 损失：
$$\mathcal{L}=-\sum _{i=1}^N\log p_{\varphi }(x_i\mid x_{<i})$$

其中 $x=(x_1,x_2,\dots ,x_N)$ 是 tokenized 轨迹，$p_{\varphi }$ 是 transformer 参数化的概率分布。

由于每条序列对应唯一的 $\theta$（动态规则），模型要准确预测下一个 patch，必须从当前 context 中推断出这条序列背后的隐藏规律，再据此预测。

这与 An Explanation of In-Context Learning as Implicit Bayesian Inference 提出的"in-context learning = 对潜在概念的隐式 Bayesian 推断"在形式上完全对应。

只不过这里的"概念"是 NCA 的转移规则 $\theta$，而非自然语言的语义主题。

Pre-Pre-Training 框架

三阶段训练范式

本文采用三阶段训练范式：

阶段	数据	目标
Pre-pre-training	NCA 合成轨迹（164M tokens）	学习可迁移的计算原语
Pre-training	自然语言语料（OpenWebText / OpenWebMath / CodeParrot）	习得语言知识
Fine-tuning	任务数据集	特定任务适配

本文主要研究第一阶段到第二、三阶段的迁移效果。

模型与迁移设置

模型使用 Llama-based transformer，参数规模 1.6B（24 层，32 heads，hidden size 2048，weight-tying）。

NCA pre-pre-training 结束后，执行以下迁移操作：

• 丢弃并重新初始化 embedding 层：NCA 词汇表（10000 个 patch token）与自然语言词汇表完全不同，无法复用；
• 保留所有 transformer 层权重（attention、MLP、LayerNorm）：这些层在 NCA 训练中习得的计算结构被期望能够迁移；
• pre-training 阶段更新全部参数：没有任何参数被冻结。

Baselines

实验设置了三个基线对比方法：

• Scratch：随机初始化，直接在自然语言数据上 pre-training，不做任何 pre-pre-training；
• C4 pre-pre-training：先在 C4 自然语言数据集上 pre-pre-training（匹配 token 预算），再迁移到目标域；
• Dyck pre-pre-training：先在 K-Dyck 形式语言数据上 pre-pre-training（参考 Between Circuits and Chomsky: Pre-pretraining on Formal Languages Imparts Linguistic Biases，2025），K-Dyck 是另一种非语义合成数据方案。

K-Dyck 语言是什么？

K-Dyck 语言（$D_k$）是经典括号匹配语言的推广：有 $k$ 种不同类型的括号对，合法序列要求所有括号类型正确且完全匹配。例如 $k=2$ 时括号对为 () 和 []，([]) 合法而 ([)] 不合法。其形式文法为：

$$S\to \epsilon \mid SS\mid a_{1}S{b}_1\mid a_{2}S{b}_2\mid \cdots \mid a_{k}S{b}_k$$

本文使用 $k=128$（128 种括号对，256 个 token 类型）、无限嵌套深度的 K-Dyck 数据，通过随机展开上述上下文无关文法（CFG）生成训练序列。
K-Dyck 要求模型学会追踪括号的嵌套层级与类型匹配，这与代码的结构（函数调用嵌套、条件块、括号匹配）高度同构，因此在 HumanEval 上表现与 NCA 相当。
然而，K-Dyck 的本质是单一 CFG 的多样实例化，计算多样性的天花板是固定的；相比之下，NCA 的每条序列有独立的随机 $\theta$，覆盖了从简单规则到图灵完备的广泛计算函数类，多样性远超 K-Dyck。

主要实验结果

NCA Pre-Pre-Training 持续改善语言建模

对三个下游自然语言语料分别进行完整 pre-training，评估指标为验证集困惑度（perplexity）。

语料	困惑度改善	收敛加速	Token 效率增益
OpenWebText	6%	1.5×	31%
OpenWebMath	5%	1.4×	27%
CodeParrot	4%	1.6×	49%

困惑度改善在整个训练过程中持续存在并往往进一步扩大，排除了"这只是一个更好的初始化"的解释，NCA pre-pre-training 真正提高了 token 效率。

在三种模型规模（400M、600M、1.6B）上，NCA 均优于所有三个基线，多个随机种子下结果一致。相对增益随模型规模增大而减小，符合预期（更大的模型本身是更强的基线，边际改善更难获得）。

最令人惊讶的以小胜大

仅 160M tokens 的 NCA 数据，优于 1.6B tokens 的 C4 自然语言数据，即便后者在 token 预算上多出 10 倍，即便保留 C4 的 embedding 层也不例外。

作者对此解释，在 1.6B tokens 这一有限预算下，C4 pre-pre-training 仍处于训练的早期阶段，根据 compute-optimal scaling laws（Training Compute-Optimal Large Language Models，2022），1.6B 参数的模型需要约 32B tokens 才能充分训练。在这个早期阶段，模型主要习得浅层局部模式（句法模式、词语搭配等），而非具有广泛迁移价值的长程依赖跟踪和 in-context rule inference 能力。

NCA 序列则更纯粹：每条序列都强制执行一个完整的规则推断任务，没有任何语义捷径可以走。每个 NCA 序列代表一个独特函数，使得每个 token 都在贡献对通用计算机制的学习，而非领域特定的统计模式。

迁移至下游推理任务

困惑度是语言建模质量的代理指标，但不是我们终极关心的能力。作者进一步评估了在推理 benchmarks 上的表现：

几点值得注意的现象：

• 在 HumanEval 的较高 pass@k 上，Dyck pre-pre-training 与 NCA 相当甚至略优。作者认为这源于 Dyck 语言与 code 的结构重叠——两者都需要追踪嵌套逻辑和分隔符模式。
• 在 BigBench-Lite 的 pass@4 上，NCA 的优势最为显著（36.5% vs. 29.7% vs. 25.9%），表明 NCA 训练的模型在反复采样时覆盖了更广的正确解空间。
• pass@k 中的 $k$ 越大，NCA 的相对优势越明显，说明 NCA pre-pre-training 提升的是模型解空间的多样性（多次采样能找到正确解的概率），而非单次预测的确定性。

机制分析：什么驱动了迁移？

Attention 层是最具迁移价值的组件

为了定位迁移信号来自哪里，作者进行了选择性重初始化实验：在 NCA pre-pre-training 结束后，分别重新初始化不同的组件（Attention、MLP、LayerNorm），然后执行 pre-training，观察性能变化。

结论非常明确，重新初始化 attention 权重导致的性能退化最大，在 OpenWebText 和 CodeParrot 上均如此。MLP 和 LayerNorm 的影响则呈现领域依赖性：

• 在 OpenWebText 上，保留 MLP 和 LayerNorm 反而降低了迁移效果——这些层编码了 NCA 特有的统计量，干扰了语言学习；
• 在 CodeParrot 上，这些组件的影响可以忽略不计。

这一发现支持了如下的功能分工假说：

• Attention 层：学习通用的长程依赖追踪机制和 in-context learning 电路（induction heads，In-Context Learning and Induction Heads，2022），可以跨域迁移；
• MLP 层：存储领域特定的知识和统计模式，迁移效果取决于源域（NCA）与目标域的对齐程度。

复杂度与目标域的匹配原则

复杂度调控实验：以不同 gzip 压缩率区间（20-30%，30-40%，40-50%，50%+）的 NCA 数据分别进行 pre-pre-training，比较迁移效果。

核心发现：最优 NCA 复杂度因下游域而异，且与目标语料库的内在复杂度直接对应：

目标域	语料 gzip 率	最优 NCA 复杂度带
OpenWebText	~70%	50%+（高复杂度）
OpenWebMath	~58%	50%+（高复杂度）
CodeParrot	~32%	30-40%（中等复杂度）

这一"复杂度匹配原则"（complexity matching principle）提供了一个在自然语言 pre-training 中从未有过的调控杆：与其增加通用 token 数量，不如调整合成数据的复杂度分布使其与目标域对齐，以更低的计算代价获得更好的迁移效果。

Alphabet Size 的 Scaling 行为

对 NCA 状态字母表大小 n ∈ { 2 , 10 , 15 } n \in \{2, 10, 15\} n∈{2,10,15} 的消融实验揭示了一个反直觉的现象。

更大的 alphabet（$n=10,15$）会产生更复杂的 NCA 动态，但其扩展规律呈现反向 U 形：在中等 token 预算时效果最优，超过后趋于平稳甚至退化。

出人意料的是，最小的 alphabet（$n=2$）在 token 预算增大时仍持续改善，展现出最佳的扩展性。作者推测原因是：较小的规则空间将采样集中于具有更一致、更普遍可迁移结构的动态上。较大 alphabet 虽然能表达更复杂的动态，但在没有主动引导的情况下，难以保证采样到的 NCA 具有最优的迁移价值。

为什么合成数据能优于语言数据？

In-context Rule Inference 的"纯粹性"

在自然语言文本中，模型可以依赖词语的语义共现先验作为预测捷径——例如，看到"巴黎"就预测"法国"，看到"if" 就预测"then"。这些捷径有时会阻碍模型学习更深层的计算机制（Shortcut Learning in Deep Neural Networks，2020 称之为"shortcut learning"）。

在 NCA 序列中，每条序列的动态规则完全由随机 $\theta$ 决定，模型没有任何语义捷径可以走。唯一的预测策略是：从 context 中推断 $\theta$，再据此推断下一个状态。这迫使模型发展出更纯粹的 in-context rule inference 能力。

用 An Explanation of In-Context Learning as Implicit Bayesian Inference（2022）的 Bayesian 框架表述：NCA pre-pre-training 鼓励模型进行

$$p(\theta \mid x_{<i})\propto p(x_{<i}\mid \theta )\cdot p(\theta )$$

的隐式推断，而自然语言 pre-pre-training 在有限 token 预算下大量学习的是更浅层的 $p(x_i\mid x_{<i})$ 的表面统计规律。

Epiplexity：确定性过程也能产生有用信息

经典信息论认为确定性变换不能增加信息量，这似乎质疑了 NCA（本质上是确定性动态系统）为何能提供有用的训练信号。

From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence（2026）提出的 epiplexity 概念回答了这个问题：对于计算能力有限的观察者，确定性过程可以产生"有用的结构信息"。NCA 的局部规则（如 Conway 生命游戏中的滑翔机）能够产生涌现结构，而一个有限容量的模型无法暴力模拟这些涌现——它必须学习能够在更粗粒度抽象层次上预测演化的表征。正是这种"学习抽象表征"的压力，与语言建模对"学习语言规律"的压力存在深层对应。

NCA 作为通用计算的样本

NCA 作为一类计算系统，覆盖了从平凡（固定点）到图灵完备（Turing Universality of the Game of Life，证明 Conway 生命游戏是图灵完备的）的广泛计算函数。这种多样性使得记忆单个规则变得不可行，迫使模型学习普遍的规则推断机制。相比之下，K-Dyck 或字符串复制这类先前的合成任务，每种任务只对应一类固定的计算结构，多样性有限。

Token 效率的定量计算

论文在附录中定义了一个更精确的 Token Efficiency Gain 指标：

$$\text{Token Efficiency Gain}=1-\frac{T_{\text{PPT}}^{\text{NCA}}+T_{\text{PT}}^{\text{NCA}}}{T_{\text{PPT}}^{\text{base}}+T_{\text{PT}}^{\text{base}}}$$

其中 $T_{\text{PPT}}$ 是 pre-pre-training 阶段消耗的 token 数，$T_{\text{PT}}$ 是在 pre-training 阶段达到 scratch baseline 最终 loss 所需的 token 数。对于 scratch baseline，$T_{\text{PPT}}^{\text{base}}=0$。

该指标衡量的是：在达到等效性能的情况下，总 token 消耗的节省比例。

实测结果：

目标域	Token Efficiency Gain
OpenWebText	31%
OpenWebMath	27%
CodeParrot	49%

以 CodeParrot 为例，这意味着：使用 NCA pre-pre-training 后，达到 scratch 模型最终性能只需 51% 的总 token 预算，节省了近一半的计算资源。

NCA 数据的统计特性：为什么它"像"自然语言？

附录 A 的分析揭示了 NCA 数据具有与自然语言相似的重尾 Zipfian（幂律）分布：token 频率随 rank 的下降呈幂律衰减，与 OpenWebText、OpenWebMath、CodeParrot 的分布高度相似。

Learning to See by Looking at Noise 提出了"naturalistic data" 的概念：重要的不是数据本身是否来自自然，而是数据是否复现了自然界的统计结构。Zipfian 分布和 approximate scale-invariance 是自然语言的两大关键统计特征，NCA 数据恰好同时具备。

局限性与未来工作

已知局限

• Alphabet 扩展的瓶颈。对于较大的 alphabet（$n=10,15$），存在明显的 token 预算下的 U 形收益曲线：在中等预算时效果最优，超过后改善停滞。这表明有效的合成 pre-training 高度依赖数据生成器的结构选择，而非仅仅是数据规模。
• 复杂度度量的局限。Gzip 压缩率和 alphabet 大小是复杂度的两个视角，但复杂度本身是多维的，一个序列可以高度可压缩却具有丰富的长程依赖，或反之。目前缺乏能够精确刻画"哪种复杂度对哪种任务有益"的理论框架。
• 能否完全替代自然语言？ 目前的工作仅验证了 NCA 作为 pre-pre-training 信号的价值，并未回答"能否用 NCA 完全替代自然语言 pre-training" 这一更根本的问题。

未来方向

• 原则性的合成数据设计方法：如何根据目标域的计算特性，自动设计最优的合成数据生成器？复杂度匹配的方向是已经明确的，但精确化的方法尚待开发。
• 更多维度的复杂度调控：NCA 网络规模、网格尺寸、epiplexity 等维度的影响尚未系统研究。
• 迈向完全合成 pre-training：作者的终极愿景是在合成数据上完成全部 pre-training，再用少量筛选后的自然语言进行 fine-tuning 以习得语义。NCA 代表了向这一目标迈出的第一步。

总结

这篇工作提出并验证了一个挑战直觉的核心命题：精心设计的合成数据（NCA）可以在数量远少于自然语言的情况下，提供更有效的语言模型预训练信号。

其成功背后的机理可以归结为两点：

1. 结构而非语义：NCA 的时空结构迫使模型学习 in-context rule inference 这一通用计算能力，而不是浅层的语义共现模式；
2. 可控的复杂度：NCA 提供了自然语言数据中从未有过的调控维度，可以系统性地调整合成数据的复杂度分布，使其与目标域的计算特性对齐。

这项工作的意义不仅在于"NCA 有效"，而在于它开辟了一条新的研究方向：问题不再是"合成 pre-training 是否可行"，而是"如何设计能最大化模型学习效果的合成数据分布"。