arXiv cs.AI· Solomon Shalom Lijo·· 6 天前精选AI 评分65
arXiv 论文探讨如何衡量 AI 节省的时间：提出结合缺陷遗漏的复核模型
Counting the Bandages: On measuring the time that AI saves
AI 导读
该研究提出应从包含缺陷遗漏的反事实视角衡量 AI 辅助节省的时间，而非单纯记录操作耗时。作者建立了复核基线模型并复现 METR 开发者公开数据，发现盲目信任会以整体时间损失换取表面耗时减少；在实验中，低估 AI 起草错误率会导致复核者减少核对，使错误率从零上升至 22.5%。
推荐理由
该研究指出单纯记录耗时会忽略漏检错误带来的代价，为评估大模型在实际工作流中的真实生产力提供了更严谨的反事实框架。
来源：arXiv cs.AI · arxiv.org