arXiv cs.AI· Jeremy Canale, Fabien Soulis·· 1 天前精选AI 评分60
ReplayRCA：通过反事实回放评测智能体故障事后诊断与实时监督能力
ReplayRCA: Measuring Post-hoc Diagnosis and Live Oversight of Agent Failures by Counterfactual Replay
AI 导读
研究团队推出评测基准 ReplayRCA，通过在 OpsWorld 环境中执行单步反事实干预和状态回放，以因果修复率衡量模型对智能体多步失败的事后诊断与实时监督能力。
推荐理由
该基准通过状态回放与因果干预评估智能体排障能力，揭示了事后归因表现与实时监督效果脱节的评测盲区。
来源：arXiv cs.AI · arxiv.org