arXiv cs.LG· Chiwun Yang, Xiaoyu Li·· 2026-10-02AI 评分42
预训练与中训如何让奖励具备可学习性?
What Pretraining and Midtraining Make Learnable from Rewards?
AI 导读
新研究揭示了预训练与中训如何提供基础信息与计算能力,使后续奖励自适应有效发挥作用。基于 Qwen2.5 权重的实验表明,在 8 个世界测试中,经正确源监督训练的模型成功率达 82.61%,远超对照组的 44.15%。该研究还在独立测试中取得 75.32% 任务成功率(对照组为 49.86%),并在 GSM8K 与 HotpotQA 上验证了奖励引导学习机制。
来源:arXiv cs.LG · arxiv.org