跳到正文
原文
arXiv cs.AI· Mohamed Abouzahra·· 2026-10-01AI 评分44

NAQD-Env:语言智能体选择性撤回能力评测基准

NAQD Env: A benchmark for selective withdrawal in language agents

AI 导读

研究提出合成评测环境 NAQD-Env,用于评估语言智能体在证据或权限变动时中止受影响操作、保留无关工作的选择性撤回能力。实测显示 Qwen2.5-7B、Qwen2.5-3B 与 Llama-3.1-8B 的撤回召回率最高仅 0.06,且未出现有效恢复。微调虽将 Qwen2.5-3B 决策准确率从 0.45-0.54 提至 0.83-0.92,但会导致不当撤回与事件报告丢失。

来源:arXiv cs.AI · arxiv.org