arXiv cs.LG· Xiangdong Zhang, Xiaohan Qin, Sunan Zou, Tuo Dai, Bizhao Shi, Zhuo Xia, Yebin Yang, Yizhou Chen, Yuliang Liu, Yu Cheng, Junchi Yan·· 2 小时前AI 评分41
论 Hyper-Connections 的设计：简化、稳定性与可扩展性
On the Design of Hyper-Connections: Simplification, Stability, and Scalability
AI 导读
针对前沿大模型的 Hyper-Connections 架构，研究人员提出简化方案 SimpleHC，通过移除残差混合和共享内存访问降低训练开销。在最大测试规模下，SimpleHC 相比原生残差基线仅增加 2.4% 的端到端训练时间。在 15B 至 30B MoE 模型扩展中，它保持了与 mHC 相当的性能，且训练梯度更平滑、高压下表现稳定。
来源：arXiv cs.LG · arxiv.org