arXiv cs.AI· Alexander Detkov, Dashiel Karish, Matthew Oleynikov, Matt Thomson·· 1 天前AI 评分37
ImplicitHop:评估跨上下文与记忆的知识整合能力
ImplicitHop: Evaluating knowledge integration across context and memory
AI 导读
新基准 ImplicitHop 评估了开源大语言模型在无 CoT 情况下跨上下文与模型权重的知识整合及演绎推理能力。该基准包含形式化图与真实知识图谱两项测试,结果显示随着组合长度增加,无论预训练还是上下文知识,模型推理准确率均急剧衰减。不过,模型处理上下文中呈现信息的整合表现仍大幅优于对预训练权重中编码信息的演绎。
来源:arXiv cs.AI · arxiv.org