### Relax定位

Relax（Reinforcement Engine Leveraging Agentic X-modality）是小红书 AI 平台开源的高性能多模态强化学习后训练框架，基于 Ray Serve 构建服务化架构。是一个大模型强化学习（RL）后训练框架——用于在模型基座训练完成后，进一步提升模型能力（如数学推理、视觉理解、Agent 交互等）。

一句话场景：你有一个 Qwen3-4B 基座模型，想让它数学题做得更好 → 用 Relax + GRPO 算法训练 → 得到更强的数学模型。

---

Relax服务架构

┌─────────────────────────────────────────────────────────┐
│  Layer 1: Entrypoints — train.py 入口、信号处理、Ray 连接  │
├─────────────────────────────────────────────────────────┤
│  Layer 2: Orchestration — Controller（训练循环）+ Service   │
├─────────────────────────────────────────────────────────┤
│  Layer 3: Components — Actor/Rollout/Critic/GenRM 等    │
├─────────────────────────────────────────────────────────┤
│  Layer 4: Engine — SGLang Rollout + Reward Hub            │
├─────────────────────────────────────────────────────────┤
│  Layer 5: Backends — Megatron-LM (训练) + SGLang (推理)    │
├─────────────────────────────────────────────────────────┤
│  Layer 6: Distributed — DCS + Ray Actor Groups          │
└─────────────────────────────────────────────────────────┘

---

Relax的亮点

特性	说明
全异步训练	通过 TransferQueue 实现 Rollout/Actor/Ref 完全并行流式数据交换
弹性扩缩容	HTTP REST API 动态增减推理引擎，支持同集群/跨集群模式
Agentic RL	多轮交互 + loss masking + VLM 上下文累积
多模态支持	文本、视觉、音频统一框架（Qwen3-Omni 等）
权重同步	DCS 通过 NCCL 广播异步同步到推理集群

---

Relax支持的 RL 算法

算法	类型	说明
GRPO	策略优化	Group Relative Policy Optimization
GSPO	策略优化	Group Sample Policy Optimization
SAPO	策略优化	Sample-Aware Policy Optimization
On-Policy Distillation	知识迁移	基于 KL 惩罚的师生蒸馏

---

Relax结构

路径	职责
relax/core/controller.py	训练循环编排、HealthManager、全局重启
relax/components/	Actor/Rollout/Critic/Advantages/GenRM 服务实现
relax/backends/megatron/	Megatron-LM 训练后端（TP/PP/CP/EP 并行）
relax/backends/sglang/	SGLang 推理引擎管理
relax/engine/rewards/	可插拔奖励函数（DeepScaler、DAPO、GenRM 等）
relax/distributed/	Ray 集群管理、DCS 权重同步服务

---

⚙️ 执行模式

• Colocate（同步）：Actor 与 Rollout 共享 GPU，严格 on-policy
• Fully Async（全异步）：各角色运行在独立 GPU 集群，通过 TransferQueue 流式交换数据

---

Relax解决了什么问题？

传统 RL 训练的致命缺陷：GPU 空闲

传统流程是这样的：

Rollout (推理生成数据) → 等待 → Training (训练) → 等待 → Rollout → ...

在 Rollout 阶段，Training 的 GPU 完全空闲；Training 阶段，Rollout 的 GPU 空闲。60-70% 的时间 GPU 都在等待。

Relax 的解法：全异步架构

Rollout ──并行──▶ Training
   │                │
   ▼                ▼
TransferQueue ← DCS 权重同步

Rollout 和 Training 同时运行在不同 GPU 集群上，通过 TransferQueue 流式交换数据，通过 DCS 异步同步权重。GPU 利用率从 30-50% 提升到 70-90%。

---

和 veRL / OpenRLHF 比有什么优势？

维度	Relax	veRL / OpenRLHF
架构	服务化（每个角色是独立 Ray Serve Deployment）	单体式架构
训练模式	支持 Fully Async（完全并行）	串行/共享 GPU
GPU 利用率	70-90%（异步并行）	30-50%（串行等待）
多模态	原生支持文本+图像+视频+音频	有限支持
权重同步	DCS（NCCL 广播，与训练重叠）	共享内存或手动同步
弹性扩缩	HTTP API 动态增减推理引擎	固定配置

核心差异：Relax 是第一个将"训练-推理完全解耦"做到产品级的开源框架。veRL 也有异步思路，但没有 TransferQueue + DCS 这套完整的数据流和权重同步机制。

---