跳到正文
原文
Together AI Blog·· 2026-04-24AI 评分45

分布感知投机解码 DAS 将强化学习 rollout 加速最高 50%

Accelerate RL rollouts by up to 50% with distribution-aware speculative decoding

AI 导读

分布感知投机解码(DAS)框架针对强化学习后训练的长尾瓶颈,在不改变模型输出的前提下将 rollout 阶段最高提速 50%。系统结合免训练的自适应后缀树草稿器与长度感知调度,利用历史轨迹动态分配投机预算并平衡多 GPU 负载。DAS 在 DeepSeek-R1-Distill-Qwen-7B 和 Qwen3-8B 评估中,分别减少超 50% 和约 25% 的 rollout 时间。

来源:Together AI Blog · together.ai