arXiv cs.LG· Xuan Liu, Jingbin Qian, Haosheng Chen·· 2026-09-30AI 评分39
GapFT：从 Pass@K 与 Pass@1 的差距中学习
Learning from the Gap Between Pass@K and Pass@1
AI 导读
研究者提出 GapFT 微调方法，利用单次采样失败但在 K 次采样内成功的样本训练大语言模型，将搜索能力内化至单次解码。在 LogiQA 2.0 和 ReClor 上，Llama-3.1-8B 的 Pass@1 较原模型分别提升 14.4 和 13.9 分，仅用三分之一数据即追平全量验证微调并达到 Pass@4 精度。该增益在 Qwen2.5-7B 上同样得到验证。
来源：arXiv cs.LG · arxiv.org