arXiv cs.AI· Shengjie Wang, Mohsen Fayyaz, Nanyun Peng·· 11 小时前AI 评分50
论文提出通过 MoE 路由调控测试时计算以抑制过度思考
Routes of Reasoning: Reading and Reshaping Test-Time Compute in MoE Models
AI 导读
研究人员提出一种利用 MoE 路由机制控制推理行为的免训练方法,可有效抑制推理模型的过度思考现象。该方案通过在推理时选择性编辑专家路由分数,促使模型在解决问题后及时停止,在 4 个模型和 4 个基准测试中使生成 token 数中位数减少 30.4%(最高达 63.3%),且准确率降幅均不超过 0.5 个百分点甚至常有提升。
来源:arXiv cs.AI · arxiv.org