过去这一年，我们团队用强化学习（RL）把一个"能用“的代码助手做到了“好用”。这篇文章不讲太多公式，重点讲选型判断、训练流程、踩过的坑，以及怎么从DAPO、VAPO这些最新工作中借鉴思路。全文以我们实际项目——一个面向企业内部的代码生成与审查助手——为主线串联。

一、先回答一个根本问题：你到底需不需要RL?

很多团队一听说DeepSeek-R1用RL训出了强大的推理模型，就想在自己项目里也上RL。但RL不是万能药，甚至不是第一优先级。我们建议你在决定上RL之前，先问自己三个问题。

1.1你的SFT做到位了吗？

RL是放大器，不是创造器。如果你的base model或者SFT模型对于目标任务的准确率只有10%——比如10次回答只有1次是对的——那RL能做的很有限，因为它只能提高已有正确路径的概率，无法凭空创造模型从未见过的能力。

我们的经验法则是：SFT阶段至少要做到pass@16>50%—一也就是说让模型对同一个问题采样16次，至少有50%的概率能出现一次正确答案。如果连这个门槛都过不了，应该先回去优化SFT数据和训练，而不是指望RL力挽狂澜。

在我们的代码助手项目中，SFT模型在内部代码benchmark上的pass@1约45%,pass@16约78%。这意味着模型“知道怎么做"，只是不够稳定——这恰好是RL最擅长解决的问题。

1.2你有可靠的评判标准吗?

RL的核心是reward信号。如果你无法快速、准确地判断模型的输出是好是坏，RL就无从优化。好的reward来源有两类：

• 规则验证器（Verifiable Rewards）：代码能不能跑通测试用例?数学答案对不对?JSON格式是否合法？这类信号100%准确，是RL最理想的训练信号。
• Reward Model：对于无法自动验证的场景(比如回答的全面性、代码的可读性），需要训练一个打分模型。但RM本身不完美，容易被模型钻空子（reward hacking)。

我们的代码助手恰好两类都有：代码正确性可以跑单元测试（规则验证），代码风格和可读性用Reward Model 评分。这种混合信号是比较理想的落地场景。

1.3你的资源够吗？

一张现实的成本表：

如果你的资源只有2张卡，建议先用DPO起步；有8张卡以上，可以考虑GRPO/DAPO。

二、技术选型：DPO、GRPO、PPO到底选哪个？

这是所有团队做 RL前最先遇到的问题。我们先把三条主要技术路线讲清楚，再给出选型建议。

2.1三条路线的本质区别

理解这三者最简单的方式，是看它们如何获取“什么是好回答"这个信号。

DPo(Direct Preference Optimization)把“学习什么是好回答"和"变得更好"合并为一步。给模型看一组偏好对（好回答Avs差回答B)，直接优化模型让它更倾向于生成A而非B。不需要单独的Reward Model,不需要强化学习循环，本质上更像是一种特殊的监督学习。

代码块
DPO：偏好数据→直接更新 policy
(chosen vs rejected)

GRPO(Group Relative Policy Optimization) 让模型自己"考试"来学习。对同一个问题让模型回答K次，用验证器判断对错，然后在这一组回答内部比较—一做对了的加分，做错了的减分——用这个相对信号来更新模型。

代码块
GRPO：问题→采样K个回答→验证器打分→组内比较→更新policy
不需要 Reward Model
不需要 Critic/Value Model

PPo(Proximal Policy Optimization)是最完整也最复杂的方案。它额外训练一个ValueModel（Critic)来预测“从当前状态开始，预期能拿多少分"，然后用实际得分和预期得分的差值(advantage)来指导更新。

代码块
PP0:问题→采样回答→Reward Model 打分
Value Model 估计 advantage（逐 token 级别）
更新 policy ＋更新 Value Model

2.2选型决策树

经过一年的实践，我们总结出一棵简单的决策树：

在我们的代码助手项目中，因为有单元测试（规则验证器）+代码质量RM(辅助信号），且资源是8×A100，所以选择了DAPO为主+DPO做后期对齐的两阶段方案。

三、Stage 1：DPO对齐——让模型“守规矩"

3.1为什么先做DPO？

在上GRPO之前，我们先用DPO做了一轮"基础对齐"。目的不是提升代码能力，而是：

• 统一输出格式：让模型按要求输出markdown代码块、添加注释、遵循内部编码规范。
• 减少有害输出：拒绝生成恶意代码、不暴露内部系统信息。
• 控制回答风格：先解释思路再写代码，而不是一上来就甩一坨代码。这些偏好很难用规则验证器量化，但很容易通过人工标注构建偏好对。这正是DPO擅长的领域。

3.2偏好数据构建

数据构建是DPO效果的决定性因素，我们花在数据上的时间远超花在训练上的时间。

数据来源有三个渠道：

一是人工对比标注。给标注员看同一个问题的两个模型回答，选择更好的那个。我们一共标注了3000对，重点覆盖格式规范、安全性、解释清晰度三个维度。

二是模型自我对弈+过滤。用SFT模型对10000个问题各生成4个回答，然后用启发式规则初筛（格式对不对、是否有明显错误），再让高级标注员从通过初筛的回答中选出best 和worst。这种方式效率比纯人工高3-4倍。

三是利用生产日志。上线初期收集用户的thumbs up/down反馈，配对成偏好数据。注意要做去噪—一有些用户会无脑点赞，有些会因为对AI的不信任而无脑差评。我们只保留了同一用户对同一类问题给出相反评价的高置信度样本。

3.3训练细节与踩坑

核心超参：

踩坑1：chosen和rejected概率同时下降。

这是DPO最经典的坑，学名叫likelihood displacement。训练几个epoch后,你会发现不仅rejected的概率在降—一这是预期的一一chosen的概率也在降，只是降得慢一点。表面上损失在下降，但模型实际上在"遗忘"好的回答。

根因在于DPO的梯度结构：对rejected的惩罚会“溢出“到语义相近的chosen上。当chosen和rejected 的差异不够大时，这个问题尤为严重。

我们的解决方案：

• 严格控制训练轮数，不超过2-3个epoch,配合early stopping
• 提高偏好对的区分度——chosen和rejected的质量差距要足够大
• 考虑使用SimPO或ORPO等改进变种，它们在梯度设计上缓解了这个问题

踩坑2:reference model的选择。

DPO损失中有一个reference policy(通常用SFT checkpoint)。我们一开始图省事直接用了开源的Instruct模型作为reference,结果发现效果很差——因为reference和我们SFT模型的分布差异太大，KL约束项变得很不稳定。

原则：reference model 必须和你训DPo的初始policy 是同一个checkpoint,或者分布非常接近。

3.4 DPO阶段的效果

经过DPO对齐后，模型在格式合规率上从72%提升到95%，用户满意度评分提升了约15%。但在核心的代码正确性上几乎没有变化——这符合预期。代码正确性的提升，要交给下一阶段的GRPO。

4.1GRPO的直觉理解

很多人看到GRPO的数学公式就犯怵，但其核心思路可以用一个日常类比解释：

想象你在教一个学生做题。你不告诉他标准答案，而是让他把同一道题做16遍，然后只告诉他哪些做对了、哪些做错了。学生通过反复对比自己的对错答案，自己琢磨出做对题的规律。

这就是GRPO的核心机制——自我对弈+组内比较。

为什么这个方法对代码任务特别合适？因为代码有天然的“自动判卷"能力：跑一遍单元测试就知道对不对，不需要人工打分，也不需要训练Reward Model。

4.2 Reward 函数设计：看起来简单，做起来很多门道

这是整个RL训练中最值得花时间的环节，没有之一。Reward 设计不好，后面训练再怎么调都白搭。

我们的reward 设计经历了三个版本迭代：

V1（太粗糙）：

问题：O/1二值reward信号太稀疏。在GRPO中，如果一个group的16个回答全是0（全错）或全是1（全对），advantage全部为0,产生不了任何梯度。训练了200步发现几乎没进步。

V2（加入过程分）：

学AI大模型的正确顺序，千万不要搞错了

🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！

有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！

就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】