CARAT：材料大语言模型是在推理还是背诵？

CARAT 提出了一套评测方法，用于检验材料大语言模型在回答晶体结构问题时究竟是在推理还是照搬输入。研究发现冻结模型在 95.6% 的成对测试中仅复述了结构关系，却未真正将其用于推演。在引入匹配监督后模型表现可提升至 99.8%，而一旦删除对应的关键证据链接，准确率便骤降至 23.4%。