arXiv cs.AI· Geng Zhang, Fangzhao Zhang, Cong Xie, Tiantian Fan, Yang You·· 11 小时前AI 评分34
Split-KV：训练扩散草稿模型的高效上下文并行方法
Split-KV: Efficient Context Parallelism for Training Diffusion Drafters
AI 导读
研究团队提出用于训练扩散草稿模型的上下文并行方法 Split-KV，将 key/value 分片保留在本地，使每层注意力通信独立于上下文长度。该方法结合 LPT 策略实现低于 1% 的负载不平衡度，规划速度比现有基线快 3 个数量级。在 CP 规模为 64 时，Split-KV 保持 85%-91% 弱扩展效率并实现最高 3.67x 加速，代码已开源。
来源：arXiv cs.AI · arxiv.org