热点事件观察中
研究者提出大模型推理调度系统LEAP
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
2026年11月2日，研究者在arXiv发布论文，提出一种用于大模型推理调度的轻量长度预测系统LEAP。该系统通过复用大模型prefill隐层状态来提取长度信号，并在CPU上异步执行与实现无梯度在线更新。实验显示，在较大领域漂移场景下，其在线自适应机制使Spearman相关系数提升了64.7%。此外，LEAP将平均per-token延迟降低了15.9%至40.8%，系统吞吐量提升1.9%，且预测器的参数量相较最强基线减少了30,569倍。
AI 根据报道生成 · 1 小时前更新
最新进展11月2日 13:00
研究者发布轻量调度系统LEAP，可显著降低LLM推理延迟并提升吞吐量。报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv cs.AILEAP：基于泛化长度预测的高效 LLM 推理调度系统
LEAP 是一种用于 LLM 推理调度的轻量长度预测系统，通过复用模型 prefill 隐层状态提取长度信号，并在 CPU 上异步执行与无梯度在线更新。在较大领域漂移下，其在线自适应机制使 Spearman 相关系数提升 64.7%。实验显示，LEAP 将平均 per-token 延迟降低 15.9–40.8%，吞吐量提升 1.9%，且预测器参数量比最强基线减少 30,569×。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。