arXiv cs.AI· Chence Yang, Ningxi Cheng, Arash Akbari, Qitao Tan, Qingchan Zhu, Ci Zhang, Changdi Yang, Yanzhi Wang, Wei Niu, Jinhui Wang, Jin Lu, Geng Yuan·· 29 天前AI 评分34
BitNest：面向显存高效 LLM 推理加速的位嵌套投机解码框架
BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration
AI 导读
研究团队提出 BitNest 投机解码框架，通过将低精度草稿模型直接嵌入高精度目标表示来共享单份物理权重，实现显存高效的大语言模型推理加速。该方案结合残差精炼恢复高精度目标，并将其渐进精度设计拓展至长上下文 KV cache。在多个 7B-8B 边缘大语言模型测试中，BitNest 取得 95.2% 的平均投机接受率，相比 FP16 自回归解码实现 1.48-1.61x 端到端加速。
来源：arXiv cs.AI · arxiv.org