Encoder-only、Encoder-Decoder 和 Decoder-only 是自然语言处理领域基于 Transformer 架构演化出的三种主流模型设计范式。它们在设计理念、注意力机制、训练目标、适用任务以及代表性模型上有着本质的区别。下面我将从多个维度深入剖析这三者的差异，帮助你建立起完整的架构认知地图。

一、核心设计理念

如果把语言处理任务看作一个从“理解”到“生成”的光谱，那么这三种架构恰好分布在这个光谱的不同位置：

• Encoder-only：位于理解端，专注于将输入文本转化为深度的上下文表示，擅长分析、分类、抽取等任务。

• Decoder-only：位于生成端，专注于自回归地产生连贯文本，擅长对话、故事创作、代码生成等任务。

• Encoder-Decoder：位于中间地带，先理解输入再生成输出，擅长输入与输出在形式和内容上差异较大的转换任务，如翻译、摘要。

这个定位决定了它们在架构设计上的根本差异。

二、架构与注意力机制

1. Encoder-only

• 结构：只保留 Transformer 的编码器部分，通常由多个相同的编码器层堆叠而成。

• 注意力：双向自注意力。每个位置在计算注意力时，可以看到输入序列中的所有位置（包括左右两侧）。这使每个词的表示都融合了完整的上下文信息。

• 信息流：输入序列一次性全部进入，经过多层编码后，输出每个位置的稠密向量，或整个序列的汇总向量（如 [CLS]）。

• 代表模型：BERT、RoBERTa、ALBERT、ELECTRA。

2. Decoder-only

• 结构：只保留 Transformer 的解码器部分，但去掉了编码器-解码器交叉注意力子层，只保留掩码自注意力 + 前馈网络。

• 注意力：单向（因果）自注意力。通过上三角掩码，每个位置只能看到当前位置及之前的词，不能看到未来词，确保自回归生成时的因果性。

• 信息流：输入序列从左到右依次处理，每生成一个新词就将其拼接到输入末尾，再继续预测下一个词。推理时需逐步迭代（自回归）。

• 代表模型：GPT 系列、LLaMA 系列、Qwen 系列、DeepSeek 系列。

3. Encoder-Decoder

• 结构：包含一个编码器和一个解码器，两者都是 Transformer 堆叠。

• 注意力：

  • 编码器：双向自注意力，像 Encoder-only 一样理解输入。

  • 解码器：掩码自注意力（单向）+ 交叉注意力（关注编码器的输出）。交叉注意力让解码器在生成每个词时，都能动态聚焦于输入序列的相关部分。

• 信息流：输入通过编码器得到上下文表示，解码器以自回归方式生成输出，每一步都参考编码器输出。

• 代表模型：T5、BART、GLM 系列、原始 Transformer。

三、训练目标

Encoder-only

• 预训练任务：典型的是掩码语言建模（MLM），如 BERT 随机遮蔽输入中 15% 的词，让模型根据双向上下文预测被遮的词。有时辅以下一句预测（NSP）（但后续研究如 RoBERTa 移除了 NSP）。

• 本质：深度理解每个词在上下文中的含义，学习通用的语义表示。

Decoder-only

• 预训练任务：标准语言建模（CLM，Causal Language Modeling），即根据上文预测下一个词。整个训练过程就是最大化所有位置的条件概率乘积。

• 本质：学习语言的生成规律和世界知识，随着规模增大，涌现出上下文学习、思维链等能力。

Encoder-Decoder

• 预训练任务：多样，常见的有：

  • 去噪自编码：如 BART 对输入加噪声（遮盖、打乱顺序、删除等），让模型复原原始文本。

  • 跨度破坏（Span Corruption）：如 T5 随机遮蔽连续片段，让模型预测被遮的片段。

  • 填空式生成：如 GLM 的自回归填空。

• 本质：学习将一种序列转换为另一种序列的能力，强调理解与生成的结合。

四、优缺点对比

架构	优点	缺点
Encoder-only	• 理解能力最强，双向上下文信息丰富 • 微调成本低，适合各种 NLU 任务 • 推理速度快（非自回归）	• 不能用于文本生成（如对话、翻译） • 预训练计算量较大（双向注意力）
Decoder-only	• 生成流畅，涌现能力强 • 架构简洁，扩展性好 • 推理时可缓存 KV，效率高	• 单向注意力限制了理解深度（看不到未来词） • 生成任务中可能出现重复、幻觉
Encoder-Decoder	• 输入输出解耦，适合序列转换任务 • 编码器提供丰富的输入表示，生成质量高 • 控制性好（可独立优化编码器和解码器）	• 参数多，训练和推理开销大 • 解码器仍需自回归生成，速度慢 • 架构相对复杂

五、适用场景与代表任务

架构	最佳应用场景	典型任务
Encoder-only	需要深度理解文本的任务	文本分类、情感分析、命名实体识别、抽取式问答、语义相似度
Decoder-only	需要自由生成文本的任务	聊天机器人、故事生成、代码生成、创意写作、多轮对话
Encoder-Decoder	输入和输出差异大的转换任务	机器翻译、文本摘要、改写、问答生成、表格到文本

六、三种角色

• Encoder-only 像一位阅卷老师：他能把整篇文章读完、吃透，然后给出分数或点评（分类、抽取）。但他无法自己写出一篇新文章。

• Decoder-only 像一位作家：他根据已有的开头（上文），不断构思下文，一页页写出新的故事。但他对整本书的结构把握可能不如阅卷老师深刻。

• Encoder-Decoder 像一位翻译官：他先仔细聆听并理解对方的发言（编码），然后用另一种语言准确、流畅地表达出来（解码）。他既需要深刻理解，也需要流利表达。

七、发展趋势与融合

近年来，三种架构的界限变得有些模糊：

• Decoder-only 吸纳双向理解：通过引入前缀双向注意力（如 GLM 的部分生成模式），在生成前对输入进行双向理解。

• Encoder-Decoder 简化：一些模型（如 T5）采用类似 Decoder-only 的统一架构，但通过不同的注意力掩码实现编码和解码功能。

• 混合使用：在同一个模型中，根据任务需求动态切换注意力模式（如 UniLM）。

尽管如此，理解这三种经典架构依然是学习大语言模型的基础，也是选择合适模型解决实际问题的关键。

最后小结

在实际应用中，可以根据任务类型快速选择：

• 如果你做的是分类、实体识别、匹配等任务 → Encoder-only（BERT 及其变体）是稳妥的选择。

• 如果你需要构建对话系统、代码生成、创意写作 → Decoder-only（GPT、LLaMA、Qwen 等）是主流。

• 如果你做翻译、摘要、文本改写 → Encoder-Decoder（T5、BART、GLM）通常效果更好。

当然，随着大模型能力的泛化，很多通用模型（如 GPT-4）也能处理多种任务，但了解架构差异，有助于你更深入地理解模型的特性与局限。