arXiv cs.LG· Ranajoy Sadhukhan, Euijin Hong, Sheng Cao, Zechun Liu, Shuowei Jin, Sha Li, Changlong Yu, Xin Liu, Qin Lu, Zhenyu Shi, Priyanka Nigam, Beidi Chen·· 22 天前AI 评分39
STAPLE：通过嵌入模块对预训练检查点进行静态稀疏升级
STAPLE: Static Sparse Upcycling of Pretrained Checkpoints via Embedding Modules
AI 导读
研究人员提出 STAPLE，通过残差路径引入静态稀疏嵌入模块来升级预训练模型，在保留原有计算的同时高效扩展参数。在 OLMo-2 1B 上，STAPLE 相比稠密微调在 HumanEval 和 GSM8K 分别提升 4.27 与 2.27 分，并在 OLMo-2 7B 上保持增益。
来源：arXiv cs.LG · arxiv.org