arXiv cs.AI· Jundong Hu, Shekar Ramachandran·· 2026-10-02AI 评分45
评测微任务合格差距:开箱即用的 SLM 何时足以用于智能体框架?
Measuring the Microtask Eligibility Gap: When Is an Off-the-Shelf SLM Enough for an Agent Harness?
AI 导读
最新评测显示开箱即用 SLM 难以胜任智能体微任务,Qwen3(0.6B/1.7B/4B/8B)在 4 项任务的 16 组配置中合格率为 0。该差距在 Llama-3.x(12 组全不合格)与 4-bit 量化下同样存在,表现主要取决于模型大小而非精度。研究建议仅在传统基线不足时调用 SLM,例如 4B 重排序模型在 BM25 候选上可取得 +0.047 的增益。
来源:arXiv cs.AI · arxiv.org