arXiv cs.LG· Zhizhuo Kou, Sizai Hou, Long Chen, Jian Yang, Junyu Luo, Jingshu Peng, Wenkai Zhang, Sirui Han, Yike Guo·· 11 天前AI 评分59
研究追踪推理模型中 Wait 标记来源：源自训练数据而非强化学习发明
Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models
AI 导读
一项新研究追踪开源推理模型的训练历程发现，模型在重新审视步骤时使用的“wait”标记并非由强化学习自主发明，而是继承自预训练数据或带有推理轨迹的微调数据。在缺乏该词的基座模型上，强化学习虽能显著提升 MATH-500 准确率但基本不会凭空生成该词；若基座已有该词，不同强化学习方案则会改变其使用频率和报警敏感度。
来源：arXiv cs.LG · arxiv.org