arXiv cs.AI· Kwan Yan, Jialun Zhong, Yanzeng Li·· 1 天前AI 评分38
LEAP：基于泛化长度预测的高效 LLM 推理调度系统
LEAP: Efficient LLM Inference Scheduling with Generalizable Length Prediction
AI 导读
LEAP 是一种用于 LLM 推理调度的轻量长度预测系统，通过复用模型 prefill 隐层状态提取长度信号，并在 CPU 上异步执行与无梯度在线更新。在较大领域漂移下，其在线自适应机制使 Spearman 相关系数提升 64.7%。实验显示，LEAP 将平均 per-token 延迟降低 15.9–40.8%，吞吐量提升 1.9%，且预测器参数量比最强基线减少 30,569×。
来源：arXiv cs.AI · arxiv.org