arXiv cs.AI· Ekagra Ranjan, Bharat Venkitesh·· 11 小时前AI 评分35
Hybrid Spark:让内容自主选择草稿器的自适应推测解码
Hybrid Spark: Adaptive Speculative Decoding That Lets the Content Choose the Drafter
AI 导读
Hybrid Spark 提出一种自适应推测解码框架,在每一步同时运行基于模型与无模型的草稿器,并在 GPU 上为每个请求动态分配更优候选链。在 vLLM 中结合 dspark 与 n-gram 测试,其在 batch size 4 和 128 的代码编辑任务中输出吞吐量分别达 dspark 的 1.10-1.62x 和 1.04-1.27x。
来源:arXiv cs.AI · arxiv.org