arXiv stat.ML· Haodong Liang, Yanhao Jin, Krishnakumar Balasubramanian, Lifeng Lai·· 29 天前AI 评分35
学习风格却遗忘语义:分类任务中 SFT 与 RFT 的案例研究
Learning Style, Forgetting Semantics: A Case Study of SFT and RFT on Classification Tasks
AI 导读
一项针对分类任务的研究揭示,监督微调(SFT)比强化微调(RFT)更易引发遗忘,核心原因在于学习非均匀风格教师时会产生离轴风格漂移。理论分解与模拟表明,即便教师示范在语义上完全正确,SFT 在有限训练区间内的遗忘仍存在严格正下界,而精确策略梯度的 RFT 能保持风格对称性并维持零语义错误。
来源:arXiv stat.ML · arxiv.org