arXiv cs.AI· Lan Wei, Bingyu Shen, Jiaqi Tang, Qing Lu, Kuan Huang, Meng Xu, Miles Q. Li, Bin Hu, Boyang Li·· 18 天前AI 评分57
多方聊天中谁能取消智能体的承诺:多模型承诺权限管理研究
Who May Release an Agent's Promise? Standing over Commitments in Multi-Party Chat
AI 导读
最新研究针对多方协作场景评估了六个主流模型对智能体承诺取消权限的遵守情况,发现模型普遍存在未授权取消和越权执行的问题。测试显示较小模型常在承诺取消后仍强行执行,较大模型则极易轻信旁观者指令而撤销既定承诺。研究提出由智能体自行维护承诺账本并配合简要释放规则,成功阻断了绝大多数越权错误,将 gpt-6-luna 的严格准确率从 49% 提升至 83%,相关代码与评测数据均已开源。
来源:arXiv cs.AI · arxiv.org