大语言模型在上下文变化时的信息更新失败机制研究

研究团队提出 CICM 基准探究大语言模型在上下文信息更新时的陈旧绑定问题，发现前沿推理模型也会因注意力漂移而错误调用旧信息。探测实验表明模型内部依然保留着更新后的值，但多个旧值的注意力累加会超过当前值导致提取失败；研究据此提出无需额外训练即可重定向注意力的方法，在保留原本正确答案的同时修正了多数旧值错误。