COMPASS：寻找大语言模型中的推理所在

研究人员提出推理期引导方法 COMPASS，利用模型自身直接回答的正确性信号提取潜在方向，并干预关键注意力头以激发大语言模型的推理能力。在 3 个模型族和多个数学基准上，COMPASS 将 GSM8K 准确率平均提升 16 个百分点，生成 token 减少 20-70% 且准确率接近 CoT。该干预方法无需重新拟合即可直接迁移至未见基准。