arXiv cs.LG· Andrew Gao, William Gao·· 16 小时前AI 评分50
论文揭示 bf16 舍入导致强化学习策略更新丢失并提出 Fair Cast 修复方案
bf16 Rounding Silently Discards Most RL Policy Updates: A Hidden Training-Inference Mismatch and an Unbiased One-Line Fix
AI 导读
最新论文指出，语言模型在强化学习后训练中采用 bf16 就近舍入会导致绝大部分单步参数更新被丢弃，在 Qwen3-1.7B 上导致数据生成策略滞后优化器 50-150 步。针对此训练与推理不匹配问题，作者提出了名为 Fair Cast 的单行代码无偏舍入方案，在 Qwen3-0.6B 至 4B 模型测试中实现平均 6.1 分的性能提升，且无需引入额外超参数。
来源：arXiv cs.LG · arxiv.org