研究指出动态大语言模型路由器往往存在误导

一项新研究评测了6款商业动态大语言模型路由器，发现在同等成本下无一表现能优于在两款优选模型间随机选择的基准，部分落后超过10个百分点。作者将差距归因于难度盲目、长度反转、语义匹配和模型阵容次优四个普遍模式，指出标准帕累托评测目标在机制上奖励了这些缺陷。研究提出了替代评测方法，并验证了即便设计出避开上述缺陷的简易双模型路由器，其相比随机路由带来的提升也相当有限。