arXiv stat.ML· Sheldon Yu, Tong Yu, Nikki Lijing Kuang, Zhendong Chu, Zhenwei Tang, Sungchul Kim, Lina Yao, Julian McAuley, Junda Wu·· 18 天前AI 评分42
RSHD：通过回溯反思蒸馏从全失败尝试中恢复监督信号
Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight
AI 导读
研究人员提出基于重放筛选的回溯蒸馏方法（RSHD），可在 GRPO 训练期间将失败推理转化为经测试的额外监督来源。该方法让策略在不接触参考答案的情况下针对失败尝试生成修正提示，并在重放成功率更高时将其蒸馏回原策略，从而从全组失败中恢复学习信号。实验表明，RSHD 在多个模型家族、尺寸及两个训练领域中均持续优于 GRPO，收益可泛化至域外评估集。
来源：arXiv stat.ML · arxiv.org