arXiv cs.AI· Ramin Pishehvar, Andrea Morandi, Mahesh Viswanathan·· 27 天前AI 评分47
评估 LLM 路由的升级信号：目标、对照与五种自欺陷阱
Evaluating Escalation Signals for LLM Routing: Targets, Controls, and Five Ways to Fool Yourself
AI 导读
研究针对从小语言模型路由至大模型的决策提出了一套升级信号评估框架。在 GSM8K 测试中，针对规模相差约 12 倍的大小模型对，语义熵区分小模型错误的 AUROC 达到 0.871，在同等成本下比随机升级提升最多 9 个百分点的路由准确率。研究同时指出，仅凭问题难度规则就可能产生相似假象，且实时采样成本甚至可能超过直接调用大模型。
来源：arXiv cs.AI · arxiv.org