arXiv cs.LG· Zhiwei Zhang, Huayu Deng, Fei Zhao, Jiayan Fu, Bin Liang, Kam-Fai Wong, Mu Chuan·· 2026-09-30AI 评分39
ROSS：通过选择性监督从自生成 Rollout 中重新学习
ROSS: Relearning from Self-Generated Rollouts through Selective Supervision
AI 导读
ROSS 提出通过保留完整历史轨迹作为上下文、仅对选定生成后续计算损失，从大模型自生成的 rollout 中选择性重新学习。在 Qwen3.6-35B-A3B 上，该方法将 6 项基准的 MOPD 平均分从 58.40% 提升至 62.20%，SWE-bench Verified 从 64.20% 提升至 68.40%。这表明无需额外的策略采样，仅通过离线 SFT 复用历史经验即可实现性能增益。
来源：arXiv cs.LG · arxiv.org