大语言模型在工作记忆中存在读出瓶颈

研究发现大语言模型在 N-back 工作记忆任务中的性能瓶颈在于受干扰下的内容读出而非定位。研究团队测试了 3 个模型家族的 15 个预训练 LLM（70M 至 14B 参数）及从头训练的极小 Transformer，发现线性探测能近乎完美区分目标与诱饵位置，注意力头大多已准确关注目标。抑制非目标项目的干扰可显著提升敏感度（d'），且模型规模越大改善越明显。