跳到正文
原文
arXiv cs.AI· Ekagra Ranjan, Bharat Venkitesh·· 11 小时前AI 评分35

Hybrid Spark:让内容自主选择草稿器的自适应推测解码

Hybrid Spark: Adaptive Speculative Decoding That Lets the Content Choose the Drafter

AI 导读

Hybrid Spark 提出一种自适应推测解码框架,在每一步同时运行基于模型与无模型的草稿器,并在 GPU 上为每个请求动态分配更优候选链。在 vLLM 中结合 dspark 与 n-gram 测试,其在 batch size 4 和 128 的代码编辑任务中输出吞吐量分别达 dspark 的 1.10-1.62x 和 1.04-1.27x。

来源:arXiv cs.AI · arxiv.org