跳到正文
原文
Apple ML Research·· 22 天前AI 评分53

苹果与 JHU 提出 SELFCOMPACT:让大语言模型智能体自主压缩长上下文

Self-Compacting Language Model Agents

AI 导读

苹果与约翰斯·霍普金斯大学研究人员提出 SELFCOMPACT 框架,使大语言模型智能体无需微调即可在推理期自主决定何时及如何压缩上下文轨迹。该方法结合了上下文压缩工具与轻量级触发规则,在 6 个基准测试和 7 个模型上验证,相比无压缩基线在数学任务上最高提升 18.1 点、智能体搜索任务上提升 5–9 点,同时降低了 30–70% 的单题 token 成本。

来源:Apple ML Research · machinelearning.apple.com