mimo-v2.6 RL scaling实战：从奖励设计到KL约束的调参指南

1. 为什么mimo-v2.6的RL scaling值得单独拿出来聊mimo-v2.6这个版本在强化学习侧做了一轮比较激进的scaling实验圈子里讨论度不低。我前后跟了几轮训练日志也自己复现了一部分配置有些观察和踩坑记录值得整理出来。这篇不打算写成论文式的实验报告而是按一个实际调过参、盯过曲线、被reward hacking折磨过的人的视角把mimo-v2.6在RL scaling这条线上的设计思路、关键细节、实操过程和排查经验讲清楚。先说清楚这篇适合谁看。如果你正在做RLHF、RLVR或者任何基于偏好/规则奖励的强化学习训练尤其是模型规模从7B往13B、30B甚至更大推的时候遇到小模型能涨、大模型反而崩或者scaling之后reward涨了但eval掉点这类问题那这篇里的很多细节你应该会有共鸣。如果你只是刚接触RL微调也没关系我会把关键概念用生活化的方式解释一遍保证你能跟上。mimo-v2.6的RL scaling实验核心想回答的问题其实很朴素当策略模型参数量、rollout数量、训练步数同时放大时RL的收益曲线到底长什么样是线性涨、饱和、还是先涨后崩这个问题听起来简单但真正动手做的时候你会发现变量太多reward设计、KL约束、采样温度、batch组成、优势估计方式每一个都会显著改变结论。所以这篇的重点不是给一个标准答案而是把mimo-v2.6这轮实验里观察到的规律和背后的机制讲透让你在自己的项目里能对照着判断。2. 实验整体设计与思路拆解2.1 为什么要做RL scaling而不是只堆SFT很多人第一反应是既然要提升效果为什么不直接多喂SFT数据这个问题我在早期也纠结过。实际做下来会发现SFT的天花板来得很快尤其是当你的目标不是模仿某个分布而是优化某个可度量目标时。SFT本质是在拟合标注分布标注质量、标注一致性、标注覆盖度决定了上限。而RL的价值在于它允许模型在采样空间里探索用奖励信号去引导理论上能突破标注分布的限制。mimo-v2.6这轮实验选择RL scaling作为主线我理解背后的考量是SFT的scaling曲线已经被研究得比较透了基本是数据量涨、效果涨、但边际递减明显而RL的scaling规律还远没有定论。尤其是当reward可以程序化验证比如数学题、代码题时RL的scaling潜力可能比SFT大得多。这个判断在实验里也得到了部分验证后面会细说。2.2 scaling的三个维度模型、采样、步数mimo-v2.6的实验把scaling拆成了三个可独立调节的维度这个拆法我觉得很实用值得借鉴模型规模scaling策略模型从较小规模逐步放大观察同等RL配置下的收益变化。采样规模scaling每个prompt的rollout数量也就是采样多少条轨迹从少到多观察优势估计的方差和最终效果。训练步数scaling在固定模型和采样配置下延长训练步数观察收益是持续涨、饱和还是回退。这三个维度分开看是有道理的因为它们的瓶颈机制完全不同。模型规模受限于容量和泛化采样规模受限于方差和算力训练步数受限于过优化和分布漂移。混在一起调你根本不知道是哪个因素在起作用。mimo-v2.6把这三点拆开做对照是这轮实验设计上比较聪明的地方。2.3 奖励设计为什么不用单一reward实验里一个关键决策是奖励信号的构成。纯单一reward比如只看最终答案对不对在scaling之后很容易出现reward hacking模型会找到一些看起来对但实际没学会的捷径。mimo-v2.6采用的是组合奖励大致包含正确性奖励、格式奖励和一定的长度/过程约束。这里我要强调一个实操心得组合奖励的权重不是拍脑袋定的而是要在小规模上先做敏感性分析。我自己的做法是固定其他条件单独扫某一个奖励项的权重看eval曲线的响应。如果某个权重稍微一动eval就剧烈波动说明这个项太敏感需要重新设计而不是硬调。mimo-v2.6的实验日志里也能看到类似的敏感性扫描这一步千万别省。3. 核心细节解析与实操要点3.1 rollout数量到底设多少才合理这是被问得最多的问题。mimo-v2.6的实验给出的经验是rollout数量不是越多越好而是要和奖励的方差匹配。具体来说如果你的奖励信号本身噪声很大比如开放式任务的模型打分那rollout少了优势估计方差极大梯度方向基本是乱的但如果奖励信号很干净比如程序化验证的对错rollout数量增加到一定程度后收益就饱和了。我自己的实操判断方法是先在小规模上跑一组rollout数量梯度比如4、8、16、32看优势估计的方差随rollout数量的下降曲线。当方差下降到某个平台期再增加rollout就是浪费算力。mimo-v2.6的实验里程序化验证任务上rollout到16左右就基本饱和而偏好打分任务上要到32甚至更多才稳。这个差异很关键别照搬别人的数字。注意rollout数量增加会线性增加显存和计算开销如果你的框架没有做rollout的并行优化盲目加大rollout会直接把训练拖垮。建议先确认你的采样框架支持高效的批量生成。3.2 KL约束的松紧怎么把握KL约束是RL微调里最容易被忽视又最致命的参数。太松模型会跑偏输出变得不像人话太紧模型几乎不动RL等于白做。mimo-v2.6的实验里KL系数是随训练动态调整的而不是固定值。这个动态调整的逻辑我理解是这样的训练初期模型离初始策略不远KL自然小可以放宽约束让模型大胆探索训练后期模型已经偏移较多需要收紧KL防止崩坏。实操上你可以监控KL散度的实际值如果它长期贴着上限说明约束太紧如果它远低于上限还在涨说明可以适当放松。我踩过的一个坑是一开始把KL系数设得太小结果模型在几百步之后输出开始出现重复和乱码eval直接掉穿。后来改成动态调整并且加了KL的硬上限才稳住。所以KL这块宁可先紧一点观察稳定后再逐步放松别一上来就放开。3.3 优势估计的归一化方式优势估计的归一化方式对scaling结果影响很大但很多实现里是默认写死的没人去动。mimo-v2.6的实验对比了几种归一化方式包括全局归一化、batch内归一化和分组归一化。分组归一化group normalization在scaling之后表现更稳原因是它把同一个prompt下的多条rollout作为一个组来归一化天然消除了不同prompt难度差异带来的方差。这个细节在小规模时可能看不出差别但模型一大、任务一杂全局归一化就会因为难易样本混在一起导致梯度噪声爆炸。实操建议如果你的任务难度分布很宽比如既有简单计算又有复杂推理优先用分组归一化。实现上就是在计算优势时按prompt分组组内减均值除标准差而不是在整个batch上做。3.4 学习率和batch size的联动scaling实验里一个反直觉的观察是模型变大之后学习率不能简单按比例放大反而要更保守。mimo-v2.6的实验显示大模型在RL阶段对学习率更敏感稍大一点就会导致策略更新过猛、KL飙升。我的经验是模型规模翻倍时学习率大致保持或略微下调同时batch size可以适当放大来稳定梯度。这个和SFT阶段的规律不太一样SFT里大模型有时能承受更大的学习率但RL里因为涉及策略更新和探索稳定性要求更高。4. 实操过程与核心环节实现4.1 环境与框架准备mimo-v2.6的RL训练对框架的并行能力要求比较高因为rollout阶段是典型的生成密集环节。我复现时用的是支持张量并行加流水线并行的训练框架采样侧单独部署了推理引擎做批量生成。关键配置上有几个点必须提前确认推理引擎和训练引擎的权重同步频率太频繁会拖慢训练太稀疏会导致rollout用的策略和当前策略偏差过大。rollout的batch组织方式建议按prompt分组方便后续分组归一化。显存预留RL训练比SFT多出rollout和奖励计算的显存开销通常要预留30%以上。4.2 奖励函数的实现细节奖励函数这块mimo-v2.6用的是可插拔的设计正确性、格式、长度各是一个独立模块最后加权求和。我复现时把每个模块单独做了单元测试确保边界情况不会出错。举个具体例子格式奖励的实现要特别注意不能简单用正则匹配因为模型可能生成看起来符合格式但语义错误的内容。我的做法是先用解析器把输出结构化解析成功才给格式分解析失败给零分并记录。这样能避免模型学会骗格式分。正确性奖励如果是程序化验证要注意超时和异常处理。我遇到过模型生成死循环代码导致验证卡住的情况后来加了执行超时和异常捕获超时按错误处理。4.3 训练循环的关键步骤完整的训练循环大致是这样的从当前策略采样一批prompt的rollout。对每条rollout计算奖励。按prompt分组计算优势。计算策略梯度并加上KL惩罚。更新策略参数。定期同步推理引擎权重并做eval。这里面第3步和第4步是核心。优势计算时我建议把中间量均值、标准差、KL值都打日志方便排查。第4步的KL惩罚项实现上要注意是加在损失里还是加在奖励里两种方式数学上等价但数值稳定性不同mimo-v2.6用的是加在奖励里的方式我实测下来确实更稳。4.4 监控指标与eval设计scaling实验最怕的就是训练指标好看但eval崩。mimo-v2.6的实验里监控指标分了三层训练层reward、KL、熵、梯度范数、采样层rollout长度分布、重复率、eval层独立测试集上的准确率、格式合规率。我特别想强调熵这个指标。熵下降太快通常意味着模型在快速收敛到某个模式短期reward会涨但长期eval会掉。mimo-v2.6的实验里健康的训练熵应该是缓慢下降如果看到断崖式下跌基本可以判定要出问题这时候要么加熵正则要么调小学习率。eval设计上一定要用和训练分布不同的测试集否则你看到的scaling收益可能只是过拟合。我自己的做法是留一个完全独立的holdout集训练全程不碰只在关键节点评估。5. 常见问题与排查技巧实录5.1 reward涨但eval掉怎么定位这是RL scaling里最经典的问题。排查思路我整理成一个顺序排查项现象处理方式过优化训练reward持续涨eval先涨后掉提前停止加KL约束reward hackingreward涨但输出模式单一检查奖励函数漏洞加多样性约束分布漂移输出长度/风格明显变化收紧KL检查采样温度eval泄漏eval集和训练集有重叠重新划分数据集我遇到最多的是reward hacking。有一次模型学会了在答案里堆砌关键词来骗正确性奖励后来在奖励函数里加了必须完整推理的约束才解决。所以奖励函数一定要做对抗性测试自己想办法去hack它能hack成功就说明有漏洞。5.2 训练不稳定loss突然爆炸loss爆炸通常和几个因素有关学习率太大、KL约束失效、优势估计方差过大。排查顺序建议是先看梯度范数如果梯度范数突然飙升基本是学习率或优势估计的问题再看KL值如果KL远超上限说明约束没生效。mimo-v2.6的实验里用了梯度裁剪阈值设得比较保守。我复现时也加了梯度裁剪并且做了梯度范数的滑动平均监控一旦超过阈值就报警。这个监控很便宜但能救命。5.3 rollout效率太低训练太慢rollout慢是RL训练的常态优化方向有几个用推理引擎做批量生成而不是逐条生成。合理设置生成长度上限避免模型生成超长无效内容。对简单prompt减少rollout数量把算力集中在难样本上。mimo-v2.6的实验里有个细节我印象很深他们做了动态rollout分配根据prompt的历史方差决定采样数量方差大的多采方差小的少采。这个策略能省不少算力我复现后训练速度提升了大概20%。5.4 大模型scaling后收益反而变小这个现象在mimo-v2.6的实验里也观察到了原因可能是大模型的初始策略已经比较强RL能带来的增量空间变小也可能是大模型对奖励信号更敏感容易过优化。应对方式包括降低学习率、增加KL约束、用更细粒度的奖励。我的体会是大模型做RL重点不是推得更猛而是推得更准。小模型可以靠大量探索来弥补容量不足大模型本身容量够需要的是精准的奖励信号和稳定的更新。6. 几个容易被忽略的实操心得6.1 数据配比的影响被严重低估RL训练用的prompt分布对scaling结果影响极大。mimo-v2.6的实验里prompt的难度分布、领域分布都做了对照。我发现一个规律如果prompt难度太集中全难或全易scaling收益会明显打折。理想情况是难度呈梯度分布让模型既有能学会的也有够得着的挑战。实操上我建议在训练前先对prompt做难度分层按比例混合。难度可以用初始模型的通过率来估计通过率太高的比如90%以上和太低的比如10%以下都要控制比例。6.2 随机种子的影响不容忽视RL训练因为涉及采样随机性比SFT大得多。mimo-v2.6的实验里同一配置跑不同种子eval结果能有几个点的波动。这意味着你看到的小幅scaling收益可能只是种子噪声。我的做法是关键结论至少跑三个种子看均值和方差。如果方差大于收益那这个收益就不值得信。这个习惯能帮你避免很多假阳性的结论。6.3 checkpoint选择比想象中重要RL训练过程中eval曲线往往不是单调的而是先涨后波动。选哪个checkpoint直接决定最终效果。mimo-v2.6的实验里用的是滑动窗口平均eval来选择而不是取最后一个。我自己的做法是训练全程定期eval记录每个checkpoint的eval分数最后选eval最高且训练指标健康的那个。千万别默认用最后一个我吃过这个亏最后一个checkpoint经常是过优化最严重的。6.4 奖励模型的更新策略如果奖励是模型打分而不是程序化验证奖励模型本身也可能被策略模型钻空子。mimo-v2.6的实验里奖励模型是定期用新数据更新的避免策略模型长期针对同一个奖励模型优化。这个策略我觉得很关键。固定奖励模型训练久了策略模型会找到奖励模型的盲区。定期更新奖励模型相当于不断移动靶子能有效抑制过优化。当然更新频率要控制好太频繁会导致训练目标不稳定。7. 关于scaling规律的一点个人观察跟完mimo-v2.6这轮实验加上自己复现的几组配置我对RL scaling的规律有几个比较确定的判断。第一RL的scaling不是简单的越大越好模型、采样、步数三个维度各有各的饱和点和崩溃点必须分开调。第二奖励信号的质量比数量重要得多一个设计良好的组合奖励比堆十倍的rollout更有效。第三稳定性是RL scaling的生命线KL约束、梯度裁剪、熵监控这些保险一个都不能少省掉任何一个都可能在某个规模上突然崩盘。最后分享一个我最近在用的技巧在正式大规模训练前先用小模型跑一个scaling预演把模型、采样、步数各放大一档看趋势是否健康。如果小规模上就出现eval掉点或KL失控那大规模基本没戏趁早改配置。这个预演花不了多少算力但能帮你省下大量无效的大规模训练时间。RL scaling这件事慢就是快稳才能远。