arXiv cs.AI· Xinhang Zhang, Boning Zhang, Chengchun Liu, Chunpu Li, Lei Sun, Weifeng Zhang, Limin Xiao·· 11 小时前AI 评分35
CHARM+：结合重合并多流机制的跨硬件注意力机制
CHARM+: Cross-Hardware Attention with Re-Merge Multistream Mechanism
AI 导读
研究人员提出跨硬件注意力机制 CHARM+，通过重组通信层级实现计算重叠，并将跨硬件与硬件内通信解耦以消除带宽不平衡导致的同步开销。相比 Ring-Attention，其前向和反向算法在双 NUMA PCIe 架构上分别实现 1.3x 与 1.7x 平均加速，在双节点 NVLink 架构上分别达到 2.8x 与 2.9x 平均加速。
来源：arXiv cs.AI · arxiv.org