arXiv cs.LG· Yibo Huang, Yi Cui, Yukai Huang, Huaping Zhou, Jiancong Tong, Zhaoyu Wu, Gen Miao, Haoran Wei, Boyan Ding, Zhuo Jiang, Jianxi Ye, Yibo Zhu, Chuanxiong Guo, Yang Xu, Jie Wu·· 22 天前AI 评分43
在大规模推理与训练负载中部署 RDMA
Deploying RDMA for Large-Scale Inference and Training Workloads
AI 导读
字节跳动研发并在参数服务器推理与训练系统中部署了基于硬件 RDMA 的软件通信层 ByteExpress。在生产环境推理中，ByteExpress 相比内核 TCP 分别将平均与 P99 模型参数拉取延迟降低 35.7% 和 43.7%，并降低 10.69% 的总 CPU 使用率。在训练场景下，其将 P99 模型参数推送延迟最多降低 74.0%，且运行时未出现 PFC 暂停。
来源：arXiv cs.LG · arxiv.org