arXiv cs.AI· Xi Qin, Isabel Kurth, Xin Cui, Elin Park, Alexander Schaefer, Yaad Oren·· 29 天前AI 评分43
当终端 AI 智能体训练停滞：揭秘数据生成与验证挑战
When Terminal-Agent Training Stalls: Demystifying Data Generation and Verification Challenge
AI 导读
针对使用 Claude Opus 生成终端任务进行 RL 训练的流程，研究诊断出基准无效、测试框架脆弱和奖励不对齐三类失效模式。提示词重构与上下文扩展将基线可解性提升 5.6 倍，但 9B 模型在 20 步内便饱和于 81.3% 的平均 pass@2。未改变配置下引入高难任务后，平均 pass@2 降至 20.6%，证实任务可解性区间具有模型特异性。
来源：arXiv cs.AI · arxiv.org