跳到正文
原文
arXiv cs.AI· Detao Zeng, Guilin Ou, Nuo Chen, Yunhao Feng, Hongliang Wang, Qinli Yang, Junming Shao, Zhong Zhang·· 8 天前AI 评分45

Async-RBench:LLM Agent 异步任务执行评测基准

Async-RBench: Benchmarking Asynchronous Task Execution in LLM Agents

AI 导读

研究人员推出评测基准 Async-RBench,包含 8 个场景下的 200 个可执行任务,用以评估 LLM Agent 的异步任务执行能力。对 9 个 Agent 的评测显示其动态重规划得分(DRS)仅在 19.2 至 45.1 之间,且异步交付下的平均任务成功率低于批处理交付(26.0% vs. 29.7%)。

来源:arXiv cs.AI · arxiv.org