arXiv cs.LG· Tianzhe Chu, Druv Pai, Yi Ma·· 7 天前AI 评分38
Nestor 嵌套稀疏架构：面向可扩展预训练与持续学习
Nested Sparsity for Scalable Pretraining and Continual Learning
AI 导读
研究者提出名为 Nestor 的 Transformer 架构，通过将条件计算机制扩展至注意力算子并与 MoE 分层嵌套，在同等算力和稀疏度下的语言模型预训练表现优于传统 MoE。Nestor 还适用于持续预训练，能更高效扩展至长上下文并适应新领域，同时显著减少对旧领域的遗忘。目前该研究的代码与模型权重已在 GitHub 开源。
来源：arXiv cs.LG · arxiv.org