arXiv cs.LG· Hanzhang Qin, Sophie H. Yu, Yuewei Zhang, Zhi-Hai Zhang·· 2 小时前AI 评分36
路径预算 LLM 路由：基于 K-Bit 尾部成本学习的在线分配
Pathwise-Budgeted LLM Routing: Online Allocation with K-Bit Tail-Cost Learning
AI 导读
面向固定预算下的 LLM 路由，上下文 Bandit 策略 ADP-HT 通过 $2^K$ 区间分位数网格保守预估成本，最大化预算耗尽前解决的任务数。在最紧缩预算下，ADP-HT 在 MATH500 与 GPQA 上解决的任务数达最佳基线 2 倍以上，并在 RouterBench 的 14 个预算中拿下 10 个最高均分，在 LiveCodeBench 上亦超越已部署的商业路由器。
来源：arXiv cs.LG · arxiv.org