如何构建现代扩散语言模型

现代扩散语言模型通过从噪声或掩码序列中并行生成 token 并迭代去噪，克服了自回归 LLM 顺序生成导致的 GPU 瓶颈与不可修改问题。该机制可实现每秒数千 tokens 的生成速度，并支持内置纠错与推理计算扩展。目前离散扩散模型在生物序列和自然语言领域已扩展至数十亿参数，包含开源与商业化发布。