arXiv cs.LG· Yichen Wang, Yufa Zhou, Siqi Zhu, Haozheng Luo, Jingzhi Bao, Zhichao Liu, Zijun Wei·· 2 小时前AI 评分37
同策略蒸馏在强化学习后能力整合中的泛化局限性
On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation
AI 导读
同策略蒸馏（OPD 及 MOPD）在强化学习后能力整合中存在泛化盲区，无法完全迁移教师的分布外泛化能力。基于 Qwen3 的评测显示，模型虽达教师分布内分数的 96.04-102.73%，但分布外得分比基座模型低 2.45-16.25%。针对教师能力与数据覆盖瓶颈，论文提出 geometry-based patching 与 base-preserving replay 以改善分布外表现。
来源：arXiv cs.LG · arxiv.org