arXiv cs.LG· Yanxing Huang, Bingzhang Yan, Zihan Tang, Wenzhe Li, Peng Li, Yang Liu·· 6 天前AI 评分36
从分布匹配视角看 LLM 训练算法
A Distribution-Matching Perspective on LLM Training Algorithms
AI 导读
研究提出基于分布匹配的统一框架，将现代 LLM 各阶段训练算法解释为最小化模型与目标分布间的散度。分析表明 On-Policy Distillation（OPD）仅在模型贴近目标分布时优于经典知识蒸馏（KD），并揭示了强化学习（RL）目标分布退化机制。基于此设计的 Conditional KL（CKL）正则化可在放宽奖励提升限制的同时有效保留模式多样性。
来源：arXiv cs.LG · arxiv.org