基于 Seq-Drifting 的单步文本生成研究

研究者提出 Seq-Drifting 框架，将漂移机制应用于连续 token 表示序列，直接学习高斯噪声到文本的映射以实现单步文本生成。该框架通过漂移场中的吸引力引导输出逼近合理的 token 表示，同时借助排斥力防止模式崩溃与序列内重复，推理时仅需单次前向传播即可联合生成完整序列。在 LM1B 上其单步生成困惑度达到 36.01，并在翻译、摘要与推理任务中展现出良好适用性，相关代码已开源。