Together AI Blog·· 2026-02-19AI 评分43
一致性扩散语言模型 CDLM:在不牺牲质量的前提下实现最高 14 倍推理加速
Consistency diffusion language models: Up to 14x faster inference without sacrificing quality
AI 导读
Together AI 提出一致性扩散语言模型 CDLM,通过块因果掩码与轨迹蒸馏解决扩散模型推理慢的难题,实现最高 14.5 倍加速。CDLM 支持精确的块级 KV cache 缓存复用,在 Dream-7B-Instruct 上将去噪步数减少 4.1x–7.7x。在 GSM8K-CoT 和 MBPP-Instruct 上,其延迟分别降低 11.2x 与 14.5x 且生成质量几乎无损。
来源:Together AI Blog · together.ai