arXiv cs.AI· Sahil Garg, Ruhi Gottumukkala, Vishal Agarwal, Shubham Vishwakarma·· 19 天前AI 评分46
基于开源权重模型的无限制 CTI-REALM 基准评测
Unconstrained CTI-REALM with Open-Weights
AI 导读
研究人员在网络安全威胁检测基准 CTI-REALM 上评估了 19 个开源权重模型和 7 个闭源模型，发现在放开消息轮数限制后，开源权重模型能以不足十分之一的成本匹敌最强闭源模型，甚至取得最高奖励得分。研究指出原基准的消息限制掩盖了真实表现，价格与模型能力并不完全挂钩。此外，针对工作流各阶段的细分评估显示不同模型在不同阶段各具优势，宜按阶段进行路由调用。
来源：arXiv cs.AI · arxiv.org