Background

当前主流skill方法分为两类：

这两种做法都是单调的，忽略了技能价值随任务阶段变化、模型容量有限等现实约束。最优的活跃技能集应该是非单调的，即某些阶段需要某些技能，某些阶段则不再需要。

活跃的外部技能集应被视为一个动态优化变量，与策略学习共同更新。

Method

SLIM 不假设技能集单调增长或消失，而是通过训练过程中的周期性审计（audit），动态决定：

• 保留（retain）：仍然提供边际价值的技能
• 淘汰（retire）：不再有用的技能
• 扩展（expand）：缺失必要能力时补充新技能

Hierarchical Skill Retrieval

• 活跃的通用技能${\mathcal{A}}_t^{\text{gen}}$全拿，任务特定技能从这一任务类别$k$的skill集${\mathcal{S}}_k$中、基于任务描述的相似度选择一个子集：
  Q t ( x ) = TopK ( { s ∈ A t k : cos ⁡ ( e x , e s ) ≥ τ e m b , K } ) \mathcal{Q}_t(x) = \text{TopK}(\{s ∈ \mathcal{A}^k_t : \cos(e_x, e_s) ≥ τ_{emb},K\}) Qt​(x)=TopK({s∈Atk​:cos(ex​,es​)≥τemb​,K})
• 活跃的通用仅能和选择的任务特定技能用于这一任务$x$的技能增强：${\pi }_{\theta }(a_t|h_t,{\mathcal{A}}_t^{\text{gen}}\cup {\mathcal{Q}}_t(x))$
• 仅当技能与任务相关时，才可能对任务有用；但只是任务描述相似，并不能证明这一skill对实际任务是有贡献的。因此需要对活跃技能的边际贡献做明确的评估。

Marginal External Contribution Estimation

• 在训练过程中，SLIM定期执行audit。对用到活跃技能 $s$的验证任务子集${\mathcal{V}}_t(s)$，通过leave-one-skill-out validation计算其边际贡献；使用指数滑动平均平滑估计值，减少噪声。

Δ t ( s ) = Perf ( V t ( s ) ; A t ) − Perf ( V t ( s ) ; A t / { s } ) Δ ‾ t ( s ) = α ∆ t ( s ) + ( 1 − α ) Δ ‾ t − 1 ( s ) \Delta_t(s) = \text{Perf}(\mathcal{V}_t(s);\mathcal{A}_t) - \text{Perf}(\mathcal{V}_t(s);\mathcal{A}_t / \{s\}) \\ \overline{\Delta}_t(s) = α∆_t(s) + (1 − α) \overline{\Delta}_{t−1}(s) Δt​(s)=Perf(Vt​(s);At​)−Perf(Vt​(s);At​/{s})Δt​(s)=α∆t​(s)+(1−α)Δt−1​(s)

Dynamic Skill Lifecycle Management for RL

策略模型参数$\theta$是一个连续的优化变量，需要用基于梯度的RL；而外部技能库$\mathcal{A}$是一个离散集合，需要进行不可微的操作。因此对两者进行交替优化：

• GRPO policy update with the active set fixed
• skill lifecycle management with the policy fixed