简单来说，PyTorch 中的 Eager 和 Compiled 是两种截然不同的执行模式：

• Eager Mode（即时执行模式）：PyTorch 的默认运行方式，代码在 Python 解释器遇到张量操作时立即执行。它的核心优势在于动态计算图和极佳的调试体验。

• Compiled Mode（编译执行模式）：主要指 PyTorch 2.x 引入的 torch.compile 功能。它会将模型捕获为中间表示（Intermediate Representation，IR），进行算子融合（Operator Fusion）等图级别优化，最终生成高效的内核代码以提升运行速度。

1. Eager Mode（即时执行模式）

这是 PyTorch 最经典的运行方式（从 0.4 版本开始成为默认模式）。

核心机制：
代码即定义即运行。当你写下 c = a + b 时，Python 解释器会立刻调用 CUDA 或 CPU 的核函数执行加法，并返回结果张量。没有显式的“构建图”和“执行图”的分离阶段。

优点：

• 易用性极高：代码逻辑与 Python 控制流（if、for、while）完全一致，非常适合自然语言处理（NLP）或动态神经网络这类结构多变的任务。

• 调试友好：你可以直接使用 pdb 或 print 查看中间变量，不会遇到编译型框架（如早期 TensorFlow 1.x）中常见的“图内错误难以定位”的问题。

缺点：

• 运行时开销：由于每个操作（如加法、矩阵乘法）都需要启动单独的 GPU 核函数，且 Python 与 C++ 后端之间存在频繁的上下文切换，在小模型或推理场景下可能无法充分利用硬件算力。

2. Compiled Mode（编译执行模式）

主要指 PyTorch 2.0 及以上版本推出的 torch.compile 技术。

核心机制：
编译器会“捕获”你的模型，将其转换为一个全局的静态计算图（使用 TorchDynamo 捕获，TorchInductor 后端生成代码），然后进行算子融合（如将相邻的 add 和 relu 合并为一个核函数）、消除冗余内存访问，最终生成针对 GPU（如使用 Triton 或 CUDA）或 CPU 高度优化的底层代码。

优点：

• 显著的性能提升：在许多主流模型（如 HuggingFace Transformers、图像分类模型）上，torch.compile 通常能带来 30% 到 100% 以上的加速。

• 显存利用率高：通过算子融合减少中间结果的显存分配与拷贝，降低了显存峰值。

缺点：

• 首次编译开销：第一次运行模型时会有额外的编译时间（通常几十秒到几分钟不等）。

• 动态结构限制：虽然 torch.compile 支持动态形状，但对于每步结构都变化剧烈的模型（如树状递归神经网络），编译的优化效果可能不如 eager 模式稳定。

3. 两者对比总结

4. 如何使用？

torch.compile 并非要取代 Eager Mode，而是提供了一个“免费午餐”式的优化手段。

你可以这样组合使用：

import torch

def my_model(x):
    # 复杂的 Python 逻辑（这部分在编译模式下也能处理）
    return x.relu() @ x.T

# 在开发阶段：用 eager 模式，方便打印和调试
out_dev = my_model(torch.randn(10, 10))
print(out_dev.shape)

# 在训练/部署阶段：用 compile 包裹一行即可加速
compiled_model = torch.compile(my_model)
out_prod = compiled_model(torch.randn(10, 10))

总结来说，Eager 是 PyTorch 易用性的基石，让你能像写普通 Python 代码一样写神经网络；而 Compiled 是在此基础上，通过编译技术将动态代码转化为高效的静态执行计划，在不牺牲太多灵活性的前提下大幅提升运行效率。