arXiv cs.AI· Xingyu Xie, Xiaoyong Xie, Zhouchen Lin, Kim-Chuan Toh·· 19 天前AI 评分41
Echo：面向大语言模型训练与推理的误差补偿 4-Bit 张量并行通信
Echo: Error-Compensated 4-Bit Tensor-Parallel Communication for LLM Training and Inference
AI 导读
研究者提出面向大语言模型训练与推理的 4-bit all-reduce 方案 Echo，通过高精度求和与误差反馈消除累积量化误差，且无需 FP8 或 FP4 硬件。
来源：arXiv cs.AI · arxiv.org