为什么要做强化反馈学习

• 看看监督微调与强化学习的区别：
  监督微调是要准备一组特征值X和结果值Y（也就是所谓的标注/标签）组成的数据集 来进行训练，通过调整函数的权重参数，让它的预测值与结果值Y尽可能接近，它的核心目标就是要最小化预测值与真实标签的误差；
  强化学习则不需要预先准备好结果值Y，它只要提供输入让函数模拟计算，再通过与环境的交互获得反馈（奖励或惩罚），通过调整参数尽可能获取奖励，它的核心目标是要能最大化长期累积奖励期望值。

一、核心定义与原理

1. PPO (Proximal Policy Optimization，近端策略优化)

• 定位：经典 on-policy Actor-Critic 强化学习，RLHF 早期标准方案。
• 核心原理：
  • 用 Critic（价值网络） 估计状态价值，计算优势函数（GAE）。
  • 带 clip 裁剪 约束策略更新幅度，防止训练崩溃。
  • 加 KL 散度 约束，避免偏离参考（SFT）模型。
• 组件：策略（Actor）+ 价值（Critic）+ 奖励模型（RM）+ 参考模型。

2. DPO (Direct Preference Optimization，直接偏好优化)

• 定位：离线偏好学习，跳过奖励模型，直接用偏好对优化。
• 核心原理：
  • 基于 Bradley-Terry 模型，将偏好比较转化为对数概率优化。
  • 目标：提升 Chosen（优选） 概率、压低 Rejected（劣选） 概率。
  • 无 Critic、无显式奖励，单模型训练。
• 数据：(Prompt + Chosen + Rejected) 偏好三元组。

3. GRPO (Group Relative Policy Optimization，群体策略优化)

• 定位：on-policy 组级优化，PPO 简化版（无 Critic）。
• 核心原理：
  • 单 Prompt 生成 N 个候选（组），用规则/验证器打分。
  • 以 组内均值为基线、组内标准差归一化，计算相对优势。
  • 保留 PPO 的 clip + KL 约束，但 不需要价值网络。
• 数据：在线采样组（每组 4–16 条）+ 可自动验证的奖励。

二、关键维度对比表

三、一句话总结

• PPO：最稳但最贵，全流程强化学习。
• DPO：最便宜好用，直接学偏好、不用奖励模型。
• GRPO：PPO 简化版，组内对比、无 Critic、适合自动打分任务。