arXiv cs.AI· Gideon Shaked, Siddharth Nagisetty·· 18 天前AI 评分40
OmicsBench：面向研究级生物信息学的长流程多轮 AI 智能体评测基准
OmicsBench: a long-horizon multi-turn benchmark of AI agents on research-study-scale bioinformatics
AI 导读
研究人员推出面向 AI 智能体的长流程多轮生物信息学评测基准 OmicsBench，包含 97 个任务、共 662 个基于有向无环图关联的子任务。在 3 个测试框架下对 12 个模型的评估显示，无上下文反馈时平均得分仅 0.43 至 0.57，最慢的智能体单任务平均耗时达 3.6 小时。配套的无监督失败模式发现流程还揭示了智能体自作主张应用统计过滤或凭记忆作答等缺陷。
来源：arXiv cs.AI · arxiv.org