从大模型强化学习到智能体强化学习：范式革命与框架全景

摘要：本文从工业落地痛点出发，系统梳理从传统 LLM 强化学习（RLHF）到 Agentic RL（智能体强化学习）的演进脉络，深入对比两者的核心差异、优劣势与适用场景，并基于《自进化智能体综述》（Transactions on Machine Learning Research）的最新研究成果，结合 Agent-Lightning、ART、MARTI 等主流框架的实战调研，给出面向工程团队的选型建议。

一 从"会说话"到"会做事"：范式转变的根本驱动力

1.1 静态大模型的能力天花板

• 2022 年以来，以 GPT-4、Claude、Qwen 为代表的大语言模型（LLM）在语言理解、推理、代码生成等维度上取得了令人瞩目的进步。然而，这些模型在设计上存在一个根本性的局限——它们是静态的。所谓"静态"，并非指模型参数不能更新，而是指模型一旦训练完毕并部署上线，就缺乏在动态环境中自主学习、持续进化的能力。每次调用都是无状态的独立推理，无法从上一次交互的成败中积累经验，也无法根据执行结果主动修正自身策略。

• 这在简单的问答、文本生成场景下尚不明显，但当 AI 系统被要求扮演"代理人"角色——调用工具、执行多步骤任务、与外部环境交互——时，这一缺陷就变成了不可回避的工程瓶颈。

1.2 工业落地的三重困境

• 困境一：强模型成本高，轻模型能力弱。 以 DeepSeek-V3.2 为例，企业级高并发部署至少需要双节点 8 卡 A100 服务器，成本极高；而选用数亿参数的小模型，在复杂工具调用、跨表 SQL 查询、多步推理链等任务上又往往力不从心，生成错误率居高不下。

• 困境二：SFT 效果有限，泛化能力不足。 监督微调（SFT）本质上是"静态模仿学习"——模型只能记住训练集里"问题→答案"的对应关系，却无法理解"为什么这个动作序列导致了好结果"。当任务涉及工具调用、自我纠错、多轮交互时，SFT 的提升往往触及天花板。

• 困境三：模型上线即"固化"，无法持续迭代。 工业环境中，业务需求持续演变，数据分布不断漂移，工具 API 版本频繁更新。传统 SFT 只能定期离线重训，无法实现"上线→使用→反馈→优化"的闭环。

1.3 解法的雏形：从 RLHF 到 Agentic RL 的跃迁

• 早期的强化学习方案，即以 InstructGPT、ChatGPT 为代表的 RLHF（Reinforcement Learning from Human Feedback），解决了 LLM 的对齐问题——让模型的输出更符合人类偏好。但 RLHF 的训练范式依然是"单步响应"：用户给出 prompt，模型给出 response，人类评分，更新策略。

• 这与真实的 Agent 场景存在本质差距。一个需要自动查数据库、调 API、分析结果、撰写报告的 Agent，其行为空间不是"一次输出"，而是跨越多个时间步的决策序列。RLHF 的奖励信号是人类标注者的主观评分，而 Agentic RL 的奖励信号来自任务执行的客观结果——SQL 是否返回正确数据、代码是否通过测试、网页操作是否完成目标。

• 这一认知转变，催生了 Agentic RL（智能体强化学习） 这一新范式。

---

二 核心概念：Agentic RL 到底是什么

2.1 形式化定义

• 根据《自进化智能体综述》（Gao et al., 2026）的理论框架，智能体系统可被形式化为：

Π = ( Γ , { ψ i } , { C i } , { W i } ) \Pi = (\Gamma, \{\psi_i\}, \{C_i\}, \{W_i\}) Π=(Γ,{ψi​},{Ci​},{Wi​})

其中 $\Gamma$ 是控制流架构，${\psi }_i$ 是底层语言模型，$C_i$ 是上下文信息（提示词+记忆），$W_i$ 是可用工具集。

• Agentic RL 的核心是定义一个自进化策略 $f$，将当前智能体系统映射到更优版本：

f ( Π , τ , r ) = Π ′ = ( Γ ′ , { ψ i ′ } , { C i ′ } , { W i ′ } ) f(\Pi, \tau, r) = \Pi' = (\Gamma', \{\psi'_i\}, \{C'_i\}, \{W'_i\}) f(Π,τ,r)=Π′=(Γ′,{ψi′​},{Ci′​},{Wi′​})

其中 $\tau$ 是执行轨迹，$r$ 是反馈奖励。其优化目标是最大化跨任务的累积效用：

$$\underset{f}{\max }\sum _{j=0}^{n}U({\Pi }_j,T_j)$$

• 这意味着 Agentic RL 不仅仅优化模型参数 ${\psi }_i$，还可以进化上下文 $C_i$（Prompt 优化、记忆管理）、工具集 $W_i$（工具创建与选择），乃至系统架构 $\Gamma$（单/多智能体拓扑结构）。

2.2 RLHF vs. Agentic RL：本质对比

维度	RLHF（传统 LLM 强化学习）	Agentic RL（智能体强化学习）
任务形态	单步问答、文本生成	多步决策、工具调用、任务执行
奖励来源	人类标注者评分（主观）	环境执行结果（客观可验证）
优化对象	仅模型参数 $\psi$	模型参数、提示词、记忆、工具、架构
学习时机	训练阶段（离线）	测试时/部署后均可持续学习
MDP 类型	退化单步 MDP	部分可观测 POMDP，长程信用分配
反馈粒度	Outcome-level（结果级）	Process-level + Outcome-level
典型算法	PPO + 奖励模型	GRPO、RLVR、DAPO、on-policy RL
代表系统	ChatGPT、Claude（对齐阶段）	GPT-5-Codex、Manus、Voyager

2.3 三大学习范式的内嵌逻辑

Agentic RL 并非推翻了 SFT 和 ICL，而是将三种范式有机整合：

• 第一阶段：SFT 冷启动——用少量高质量数据让模型掌握工具调用协议，确保输出格式合规，提供稳定的初始行为基准。

• 第二阶段：Agentic RL 热调优——在真实或模拟环境中进行 rollout，根据执行结果给予奖励，通过 GRPO/PPO 等算法更新策略，让模型从经验中学习最优行为链。

• 第三阶段：ICL 实时适应——测试时通过将历史成功轨迹、反思记录注入上下文，实现无参数更新的即时适应（对应综述中的 Intra-test-time self-evolution）。

---

• ICL 是 In-Context Learning（上下文学习）。它的核心思想是：模型不修改自身参数，而是通过在输入的上下文窗口里放入示例、指令或历史记录来改变行为。你可以把它理解为"临时记忆"——模型读到什么就用什么来指导当前的回答，任务结束后不留痕迹。
• 在 Agentic RL 的框架里，ICL 通常扮演第三阶段实时适应的角色，具体形式包括：
  • 把上一轮失败的 SQL 执行记录放进 prompt，让模型"看到"自己错在哪里再重写
  • 把过去成功的任务轨迹作为少样本示例注入上下文，引导本次生成
    Reflexion 这类方法把"自然语言批评"写进上下文，作为轮内的"软奖励"

三 范式转变的四个维度：What / When / How / Where to Evolve

• 综述提出了自进化智能体的四维分类框架，这是理解 Agentic RL 与传统 LLM-RL 本质差异的核心维度。

3.1 What to Evolve：进化什么

传统 RLHF 只进化模型参数（Policy），而 Agentic RL 的进化空间远不止于此：

• 模型层（Model）——策略参数直接更新（如 SCA、RAGEN 框架），学习 Experience 以形成可复用的经验知识（如 Reflexion、AgentGen）。

• 上下文层（Context）——包含两个子维度：

  • 记忆进化（Memory Evolution）：Mem0 的"ADD/MERGE/DELETE"三态更新机制，REMEMBER 用 RL 信号决策记忆更新策略，Agent Workflow Memory 将可复用的动作序列固化为工作流程序。
  • Prompt 优化（Prompt Optimization）：PromptBreeder 用进化算法搜索最优指令，DSPy 将提示词作为可微参数联合优化，SPO 通过自生成对比数据无监督提升提示质量。

• 工具层（Tools）——从"工具使用者"到"工具创造者"：Voyager 在 Minecraft 中自主积累技能库，Alita 通过 RAG 按需从代码库合成新工具，SkillWeaver 分析成功轨迹提炼出可复用 API。

• 架构层（Architecture）——系统拓扑自适应：TextGrad 反向传播"文本梯度"优化各节点，AFlow 用 MCTS 搜索最优多智能体工作流，DGM（Darwin Gödel Machine）允许智能体直接修改自身 Python 代码库。

3.2 When to Evolve：何时进化

• 测试时内部进化（Intra-test-time）：在任务执行过程中实时适应，适用于对延迟要求极高但需要灵活应对的场景。Reflexion 在同一任务内记录自然语言批评指导后续步骤；LADDER 在遇到难题时实时运行 RL 强化当前能力点。

• 测试间外部进化（Inter-test-time）：在任务完成后从积累的轨迹中学习，适用于批量训练优化。STaR 让模型对成功解题过程生成解释性推理链作为训练数据；WebRL 基于自进化课程的在线 RL，根据 Agent 成败自动生成难度适中的下一批任务。

这两种时机对应了两种不同的工程设计选择：前者强调实时性与零参数更新，后者强调深度优化与泛化提升。

3.3 How to Evolve：如何进化

综述将进化方式归为三大范式：

• 奖励驱动进化（Reward-based）：设计奖励信号指导 Agent 行为。文本反馈（Textual Feedback）以自然语言批评作为"梯度"，如 Reflexion、Self-Refine；外部奖励来自环境执行结果（代码测试通过、SQL 正确返回），最为客观可靠；内部奖励利用模型自身置信度（CISC、Self-Rewarding LMs）无需外部监督。

• 示范模仿进化（Imitation & Demonstration）：从高质量轨迹样本中学习。STaR 系列引导模型对自身正确解题生成推理链，形成自举训练数据；SiriuS 维护成功解题库，并对失败案例进行多阶段精化。

• 种群进化（Population-based & Evolutionary）：维护多个 Agent 变体，通过选择、变异、竞争发现最优策略。Darwin Gödel Machine 维护历史所有版本存档，支持从任意祖先分支进化；SPIN、SPC 通过自博弈（Self-play）产生内生学习信号，实现对手生成与求解器优化的协同进化。

3.4 Where to Evolve：在哪里进化

• 通用域进化面向数字助理等广谱应用，通过记忆机制（Mobile-Agent-E 的 Tips + Shortcuts 体系）、课程学习（WebRL 的自进化难度课程）、模型-Agent 协同进化（UI-Genie 同步微调 Agent 与奖励模型）实现跨任务泛化。

• 专域进化在特定领域深耕：编程（EvoMAC 多智能体代码生成协作进化）、GUI（WebVoyager 屏幕操作自我强化）、金融（QuantAgent 迭代精化知识库）、医疗（Agent Hospital 万例虚拟诊断自进化）、教育（PACE 个性化教学策略动态调整）。

---

四 Agentic RL 的优势与局限：清醒评估

4.1 相比 SFT 的核心优势

• 动态闭环学习：每次执行结果直接反哺模型，从实际错误中学习，而非从人工标注的"正确示范"中学习。这使得模型能捕捉到 SFT 数据集难以覆盖的边界情况和长尾场景。

• 目标灵活定制：奖励函数可以精确编码业务目标，例如"SQL 正确 + 执行时间 < 1 秒 + 不触发权限越界"，这是 SFT 损失函数难以表达的复合目标。

• 持续在线迭代：部署后仍可收集 rollout 数据、计算奖励、更新模型，实现"边用边学"的工程闭环，极大降低定期重训的维护成本。

• 小模型撬动大能力：通过 Agentic RL 专精于特定工具调用任务，1.5B～3B 参数的小模型在垂直任务（如 SQL 生成）上可达到接近 70B 模型的表现，大幅降低推理成本。

4.2 不可回避的挑战与局限

• 奖励设计难度高：奖励函数设计是 Agentic RL 的核心工程挑战。设计不当会导致"奖励黑客"（Reward Hacking）——模型发现规则漏洞而非真正完成任务。例如 Agent 学会避开困难查询而非解决它，以此维持高分。

• 训练稳定性弱于 SFT：RL 训练天然带有探索-利用的不确定性，对超参数敏感，容易出现策略崩溃（Policy Collapse）或奖励信号噪声过大导致的震荡。

• 样本效率相对低下：生成优质 rollout 轨迹需要大量与环境的交互，尤其是在奖励稀疏（Sparse Reward）的场景下，成功轨迹极为罕见，训练效率低。

• 安全风险叠加：自进化智能体面临特有的安全挑战：训练于 Agent 生成数据的模型可能遗忘原有安全对齐（Catastrophic Forgetting of Alignment）；开放式进化容易触发"错误进化"（Misevolution），使 Agent 执行被它曾被训练拒绝的有害指令；自主创建的工具可能包含安全漏洞。

• 评估体系尚不成熟：静态基准（SWE-bench、WebArena）只能评估某一时刻的能力快照，无法度量"智能体随时间进化的质量"。专门的 Lifelong 基准（LifelongAgentBench、EvaLearn）正在涌现，但标准化工作仍在进行中。

五 主流 Agentic RL 框架全景扫描

5.1 Microsoft Agent-Lightning：企业级最小侵入方案

项目信息：GitHub: microsoft/agent-lightning，2025 年 6 月发布，MIT 协议，Stars 约 16K。

• Agent-Lightning 通过检测智能体交互、收集遥测数据并应用学习算法来改进智能体行为，核心设计理念是以最小的代码修改实现 AI 智能体的优化。框架将 Agent 执行与模型训练彻底解耦——Agent Runner 运行于 CPU，模型训练运行于 GPU，二者通过中央消息队列 LightningStore 通信协调。所有 RL 循环遵循两步模式：收集 Agent 执行数据（“Spans”）→ 提取数据送入算法训练。

架构核心：

• LightningStore：中央数据存储与消息队列，协调算法与 Runner 的通信，提供标准化接口
• Algorithm Module：管理 RL 整体周期，决定任务分配、结果评估与模型更新策略，托管 LLM 推理与训练，通常运行于 GPU 节点
• Agent Runner：负责具体 Agent 执行，收集轨迹数据，可运行于 CPU 节点
• Orchestrator：协调多 Agent 并行执行与负载均衡

---

• 支持的集成：LangChain、LangGraph、OpenAI Agent SDK、AutoGen、CrewAI、Anthropic

• 支持算法：RL（PPO、DPO、RLVR）、APO（自动 Prompt 优化）、SFT

• 配套后端：原生集成 veRL（字节跳动），支持 GRPO 训练

• Agent-Lightning 的核心价值在于零侵入接入现有 Agent 代码。开发者只需将原有 LLM 调用切换到 Agent-Lightning API，无需改动 Agent 逻辑，即可获得 RL 训练能力。这在工程上意义重大：无需为 RL 训练专门重构业务代码。

---

典型工作流（以 LangGraph SQL Agent 为例）：

1. 定义 LangGraph Agent 工作流（write_query → execute_query → check_query → rewrite_query）
2. 用 LitAgent 封装，注入 rollout 接口与奖励函数
3. 配置 agl.VERL(config) 初始化 GRPO 算法
4. agl.Trainer(n_runners=10) 并发执行 rollout，自动完成轨迹采集→奖励计算→策略更新的完整闭环

实验结果：以 Qwen2.5-Coder-3B 在 Spider 数据集上的 SQL 生成任务为例，经 GRPO 训练后准确率从基线提升至 80.4%（Three-Turn, 4096 context），相比单纯 SFT 有显著增益，且上下文长度从 2048 扩展至 4096 时准确率从 76.4% 提升至 80.4%，体现出 Agentic RL 对上下文利用的高度敏感性。

---

5.2 OpenPipe ART（Agent Reinforcement Trainer）：开发者友好的极简方案

• 项目信息：GitHub: OpenPipe/ART，2025 年 4 月发布，Apache-2.0 协议；2025 年 9 月被 CoreWeave 收购，持续开源维护。

• ART 是一个开源 RL 框架，通过让 LLM 从经验中学习来提升 Agent 可靠性。它为在任意 Python 应用中集成 GRPO 提供了符合人体工程学的 harness，Agent 可以从任何运行 Python 的客户端机器上发起训练，将训练服务器抽象为模块化服务，无需关心推理引擎内部细节。

架构设计：

• Client/Server 分离：客户端提供 OpenAI 兼容接口，开发者像调用普通 LLM 一样调用可训练模型；服务端在 GPU 节点处理实际推理与参数更新
• Serverless RL：2025 年 10 月推出无服务器 RL 托管服务，自动管理 GPU 基础设施，实现分钟级快速迭代
• 可观测性集成：内置 W&B、Langfuse、OpenPipe 平台对接，支持实时监控训练过程

特色能力：

• RULER（自动奖励生成）：无需手动编写奖励函数，系统自动生成适合任务的奖励逻辑
• LangGraph 原生集成：支持直接对 LangGraph Agent 进行 RL 训练
• Qwen3-14B 邮件 Agent 案例：公开报告显示，训练后的 Qwen2.5-14B Agent 在邮件检索任务上超越 OpenAI o3，印证了小模型+专项 RL 的工程价值

典型使用场景：个人开发者或小团队快速为现有 LLM 应用引入 RL 能力，无需大规模 GPU 集群，无需深入理解分布式训练细节。

---

5.3 Hugging Face TRL：RLHF 到 Agentic RL 的过渡桥梁

• 项目信息：GitHub: huggingface/trl，成熟社区框架，学术研究首选。

• TRL（Transformer Reinforcement Learning）是全球使用最广泛的 LLM 强化学习库，覆盖了从 SFT → 奖励模型训练 → PPO/DPO/GRPO 优化的完整后训练流程。其近期版本已扩展对 Agentic 场景的支持，包括多轮对话 RL、工具调用训练等。

• 核心优势：与 Hugging Face Transformers 生态完美兼容，几乎所有 RLHF 论文都可基于 TRL 复现，社区支持极为活跃，文档详尽。但其 Agentic RL 能力相对 Agent-Lightning、ART 等专用框架较弱，更适合研究验证而非工业级 Agent 训练。

---

5.4 字节跳动 veRL：生产级分布式 RL 后端

• 项目信息：GitHub: volcengine/verl，字节跳动火山引擎开源，生产级别分布式训练框架。

• veRL（Volcano Engine RL）定位为 Agent-Lightning 等上层框架的训练后端，提供 GRPO、PPO、DAPO 等算法的高性能分布式实现。其 DAPO（Dynamic Alignment Policy Optimization）算法被广泛用于 Qwen 系列模型训练，优化推理稳定性与语言一致性。

• veRL 的核心设计是将 LLM 推理引擎与策略优化器解耦，通过异步 co-routine 机制在等待工具调用返回结果时避免 GPU 空转，显著提升训练吞吐量。这对于 Agentic RL 场景（工具调用延迟高、轨迹长度不均匀）尤为关键。

5.5 MARTI：多智能体系统专用 RL 框架

• 项目信息：GitHub: TsinghuaC3I/MARTI，清华大学开源，ICLR 2026 接收论文。

• MARTI 是面向 LLM 多智能体系统（MAS）强化学习训练的开源框架。它通过将中心化多智能体交互与分布式策略训练相结合，支持内置图结构工作流与主流第三方多智能体框架。MARTI-v2 引入了树搜索增强 RL（MARS²），将多智能体树搜索与自适应节点扩展相结合，使智能体能系统性探索解空间并发现高质量推理轨迹。

MARTI 的创新在于将多智能体协作与 RL 训练深度融合：

• 异步工具调用支持：2025 年 8 月新增 Async Tool Use 与 Async Workflow
• GSPO 损失函数：序列级策略优化，相比 PPO 的 token 级优化更适合复杂推理
• TIS 校正：处理 vLLM 采样分布不匹配问题
• 超长序列支持：处理高达 32K tokens 的多智能体轨迹

适用场景：需要多角色协作的复杂任务，如多角色代码审查（ReviewRL）、医疗多学科会诊（CoMAS）。

5.6 rLLM：面向生产的智能体 RL 后训练框架

• 项目信息：GitHub: rllm-project/rllm，2025 年 10 月发布。

• rLLM v0.2 引入了 AgentWorkflowEngine 和 AgentWorkflowTrainer——更通用的抽象层，使任意 Agentic 程序都可以被训练。Agent 构建者和研究者可以定义多智能体系统、复杂工作流（如 Solver-Judge、Planner-Executor 或 MCTS），或带有自定义奖励函数的 Agentic 程序，无需重写生产代码即可进行 RL 训练。

• rLLM 还推出了 rLLM UI 实时可观测平台，不仅显示"训练时发生了什么"，更显示"为什么"——允许检查每一步的模型生成内容，并通过可观测 Agent 精准定位问题。

5.7 NVIDIA NeMo RL + NeMo Gym：科学 Agent 的生产基础设施

• 项目信息：NVIDIA NeMo 框架套件内的开源库。

• NeMo Gym 和 NeMo RL 提供了统一、模块化的 RL 栈，用于在任何领域（包括科学研究）构建可靠的 Agentic AI。NeMo Gym 让开发者创建真实环境供 Agent 交互、学习、解决领域特定任务，生成高质量可验证的 rollout 数据；NeMo RL 则利用这些数据高效大规模调整和改进 Agent。

• 适用于需要在生物、化学等科学领域训练专业智能体的团队，依托 NVIDIA 完整 GPU 基础设施，可实现大规模科学发现 Agent 的训练。

六 框架横向对比：选型决策矩阵

维度	Agent-Lightning	ART (OpenPipe)	TRL	veRL	MARTI	rLLM
定位	企业级 Agentic RL 平台	开发者友好 Agent 训练	RLHF 全流程研究框架	分布式 RL 训练后端	多智能体系统 RL	生产级 Agent 后训练
入门门槛	中（需配置 veRL 后端）	低（Serverless 可选）	中（需 GPU 环境）	高（分布式配置复杂）	高（多 Agent 编排）	中
代码侵入性	极低（最小改动）	低（API 替换）	中（需重构训练循环）	高（需适配接口）	中	中
多智能体支持	✅ 原生支持	❌ 单 Agent	⚠️ 有限	❌ 需上层封装	✅ 核心特性	✅ v0.2 支持
分布式扩展	✅（依托 veRL）	✅（Serverless）	⚠️（有限）	✅（核心特性）	✅（Ray）	✅
算法丰富度	PPO/DPO/RLVR/APO/SFT	GRPO/RLVR	PPO/DPO/GRPO/KTO…	PPO/DPO/GRPO/DAPO	PPO/GRPO/GSPO	PPO/GRPO/OPD
框架兼容性	LangChain/AutoGen/CrewAI/Anthropic	LangGraph/任意 Python	HF Transformers 生态	需上层框架配合	第三方 MAS 框架	任意 Agentic 程序
工业成熟度	高（微软背书）	高（CoreWeave 收购）	高（HF 社区）	高（字节跳动生产验证）	中（学术主导）	中（快速成长）
适合团队规模	企业团队	个人/小团队	研究团队	大规模训练团队	科研团队	中等团队
主要局限	依赖 veRL，配置较复杂	规模化有成本	Agentic 能力相对弱	需上层框架封装	学习曲线陡峭	社区相对年轻

七 选型建议：不同场景的最优解

场景一：快速验证（个人开发者 / 原型阶段）

• 推荐：OpenPipe ART

• 理由：Serverless 模式免去 GPU 基础设施管理，代码侵入性最低，RULER 自动奖励生成大幅降低奖励设计门槛，LangGraph 原生支持方便接入现有工作流。5 行代码即可为现有 Agent 引入 GRPO 训练能力。适合想快速验证"RL 能不能提升我的 Agent"这一假设的开发者。

# ART 极简接入示例
import art
model = art.TrainableModel(name="my-agent", base_model="Qwen/Qwen2.5-14B-Instruct")
# 后续调用与 OpenAI SDK 完全一致，ART 自动收集轨迹并触发 RL 训练

场景二：企业级工程落地（已有 LangChain/AutoGen Agent 体系）

• 推荐：Microsoft Agent-Lightning + veRL

• 理由：与主流 Agent 框架无缝兼容，最小侵入设计意味着不需要重构现有业务代码；veRL 后端提供工业级分布式训练能力；解耦架构方便各组件独立扩缩容；微软背书的工程质量与持续维护保障。

• 关键决策点：需配置 CUDA 12.8 环境和 vLLM 推理服务，建议在 GPU 服务器（至少 8GB VRAM）上部署，适合有专职 MLOps 团队的企业。

场景三：多智能体系统研究（科研团队）

• 推荐：MARTI

• 理由：ICLR 2026 接收，算法严谨；树搜索增强 RL（MARS²）在代码生成等复杂推理任务上有显著优势；支持 Graph-based 工作流与第三方 MAS 框架；GSPO 损失在序列级优化上理论更完备。适合研究多智能体协作、涌现行为等前沿课题的学术团队。

场景四：大规模分布式训练（大型技术团队）

• 推荐：veRL + 自定义 Agent 层

• 理由：字节跳动生产验证的工业级分布式框架，DAPO 算法在 Qwen 系列模型上效果卓越；异步 rollout 机制显著提升 GPU 利用率；支持异构 GPU 集群部署。适合拥有百张 GPU 以上规模，需要训练千亿参数级别模型的大型团队。

场景五：学术研究 / RLHF 基线复现

• 推荐：Hugging Face TRL

• 理由：与 HF 生态完美兼容，几乎所有 RLHF 论文基线都可直接复现；社区活跃，Issue 响应迅速；文档覆盖最完整。适合需要严格对比实验、复现论文结果的研究者。

八 未来方向与风险提示

8.1 三个关键研究前沿

• 个性化自进化：Agent 需要在冷启动阶段（数据极少）快速建立用户画像，并在长期交互中精准维护个人记忆，同时规避偏见强化。TWIN-GPT 等工作初探了基于电子健康记录的数字孪生方向，但隐私保护与遗忘权的技术实现仍是开放问题。

• 多智能体协同进化生态：单一 Agent 自进化已取得显著进展，但多 Agent 生态如何在竞争与合作中涌现出超越个体的集体智能——即"ASI 路径"——仍待系统性研究。综述指出，局部交互往往无法产生连贯的集体策略，这是 SwarmBench 等基准揭示的核心瓶颈。

• 安全可控自进化：自进化能力越强，风险越大。综述特别指出"错误进化"（Misevolution）现象：对齐挺过了 SFT 阶段，却在 RL 持续进化中逐渐崩溃；Alignment Faking Rate 在特定条件下可从 12% 飙升至 78%。沙箱验证、审计追踪、回滚机制、持续红队测试将成为生产级 Agentic RL 系统的必配安全基础设施。

8.2 工程实践中的关键注意事项

• 奖励设计是第一道坎：奖励函数的质量直接决定 RL 训练的上限。建议从最简单的 Binary Reward（任务成功/失败）开始，验证 RL 循环本身的正确性，再逐步引入过程奖励（Process Reward）和多目标奖励。

• 上下文长度与效果强相关：实验数据显示，将上下文从 2048 扩展至 4096 tokens，SQL Agent 准确率提升约 4 个百分点（76.4% → 80.4%）。在资源允许的情况下，优先保证足够的上下文窗口，让模型充分观察多轮交互历史。

• 显式"检查"步骤的性价比考量：增加显式检验节点（如 check_query）可提升约 1.2 个百分点，但训练时间近乎翻倍。在对性能要求极高且训练资源充裕的场景下值得尝试，轻量化部署场景慎用。

• 持续监控防止分布漂移：Agentic RL 的开放性使其容易出现策略漂移——Agent 在优化奖励的过程中偏离原始任务目标。建议配置 wandb 等工具实时监控奖励曲线、生成质量指标，并设置早停机制。

九 结语：智能体强化学习的时代已来

• 从 RLHF 对齐"会说话的 LLM"，到 Agentic RL 训练"会做事的 Agent"，这不是技术的线性进步，而是 AI 工程范式的根本性跃迁。正如《自进化智能体综述》所描述的概念轨迹：LLMs（语言理解与生成）→ Foundation Agents（工具调用与规划执行）→ Self-Evolving Agents（从反馈与经验中学习进化）→ ??? （向 ASI 探索）

• Agent-Lightning、ART、MARTI 等框架的涌现，标志着 Agentic RL 正在从学术研究走向工程实践。但这条路并不平坦：奖励设计、安全对齐、长期记忆、多智能体协调等难题，每一项都需要严肃的工程投入。

• 对于工程团队而言，现在最务实的策略是：从最简单的场景入手，选择侵入性最小的框架（ART 或 Agent-Lightning），在一个有清晰奖励信号的垂直任务上验证 RL 的价值，再逐步扩展到更复杂的多步骤、多工具、多智能体场景。

一个"边用边学、持续进化"的 Agent，才是真正意义上的工业级 Agent。

---

参考资料

• Gao, H. et al. (2026). A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve. Transactions on Machine Learning Research.
• Microsoft Research (2025). Agent Lightning: Adding Reinforcement Learning to AI Agents Without Code Rewrites.
• OpenPipe (2025). ART: Agent Reinforcement Trainer.
• Hu, T. et al. (2025). MARTI: A Framework for LLM-based Multi-Agent Reinforced Training and Inference. ICLR 2026.
• rLLM Team (2025). rLLM v0.2: AgentWorkflowEngine for Training Arbitrary Agentic Programs.
• NVIDIA Developer Blog (2026). How to Train Scientific Agents with Reinforcement Learning.
• Wang, R. et al. (2025). A Practitioner’s Guide to Multi-turn Agentic Reinforcement Learning. arXiv:2510.01132.