arXiv cs.LG· Yu Li, Yufa Zhou, Tian Lan·· 16 小时前AI 评分38
LLM 强化学习中训练与推理不匹配的起源与演化
On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning
AI 导读
针对 LLM 强化学习中引擎数值差异与异步采样导致的训练推理不匹配，研究提出了差异-滞后校正（DLC）。DLC 通过中心化数值差异、裁剪滞后比率，并在有效样本量降至一半以下时重新同步采样器。在 Qwen3-0.6B 与 Qwen3-1.7B 上，该方法有效防止训练崩溃，使 KL 散度维持在两次独立在线策略训练差异的两倍以内。
来源：arXiv cs.LG · arxiv.org