arXiv cs.AI· Mengyu Sun, Zunlong Zhou, Ziyuan Yang, Yi Zhang·· 3 天前AI 评分40
SkillCT：面向 Agent 技能评估的多维度基准与免执行基线
SkillCT: A Multidimensional Benchmark and Execution-Free Baseline for Agent Skill Assessment
AI 导读
研究者提出多维度评测基准 SkillCT，从静态评估、动态评估和人机协作评估 3 个方面共 9 个维度综合评估 Agent 技能质量。基于该基准构建的免执行评估基线通过检索参考技能来预测未见技能的质量，无需实际运行即可降低评估时间和 token 消耗。此外，由 SkillCT 指导的技能优化能够有效提升下游任务的成功率与执行效率。
来源：arXiv cs.AI · arxiv.org