跳到正文
原文
Together AI Blog·· 2026-02-19AI 评分43

一致性扩散语言模型 CDLM:在不牺牲质量的前提下实现最高 14 倍推理加速

Consistency diffusion language models: Up to 14x faster inference without sacrificing quality

AI 导读

Together AI 提出一致性扩散语言模型 CDLM,通过块因果掩码与轨迹蒸馏解决扩散模型推理慢的难题,实现最高 14.5 倍加速。CDLM 支持精确的块级 KV cache 缓存复用,在 Dream-7B-Instruct 上将去噪步数减少 4.1x–7.7x。在 GSM8K-CoT 和 MBPP-Instruct 上,其延迟分别降低 11.2x 与 14.5x 且生成质量几乎无损。

来源:Together AI Blog · together.ai