arXiv stat.ML· Leonardo Torti, Emanuele Rimoldi, Tomer Galanti, Tomaso Poggio, Pierfrancesco Beneventano·· 19 天前AI 评分38
嵌入几何对 LLM 路由的影响：失效模式探究与泛化提升
Embedding Geometry Shapes LLM Routing: Tracing Failure Modes and Improving Generalization
AI 导读
新研究发现语义嵌入的邻近特征无法可靠指导未知任务的模型选择，导致 LLM 路由泛化受限。为此，研究团队提出运行 Qwen2.5-7B-Instruct 的部分前向传播，取其深层最后 token 的 hidden state 作为替代特征表征。配合 kNN 等简单分类器，该方案超越了所有语义嵌入基线，并在 RouterBench 上击败了近期基于 hidden states 的 SOTA 路由器。
来源：arXiv stat.ML · arxiv.org