arXiv cs.AI· Jiawei Li·· 29 天前AI 评分51
LLM 智能体 System-1 决策模型评测：Laya 与 Jev 配对对比及管线自审计
Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses
AI 导读
研究人员针对大语言模型智能体框架中的 System-1 决策模型展开配对与自审计评测，对比了开源模型 Laya 与托管模型 Jev 在 11 项任务中的表现。评测显示 Jev 在 9 项决策点上准确率高出 10.8 至 46.0 个百分点，但两款模型在零样本路由任务上均未超过随机概率，且 Laya 在候选项调序后答案改变率达 30%。
来源：arXiv cs.AI · arxiv.org