arXiv cs.LG· Bowen Shi, Qi Ouyang, Long Qian·· 7 天前AI 评分35
稀疏性驱动多任务神经网络涌现功能模块化
Sparsity-driven emergence of functional modularity in multitask neural networks
AI 导读
稀疏诱导正则化无需预定义模块边界，即可驱动多任务神经网络自发涌现功能模块化。研究人员在多层感知机和轻量级 Transformer 中识别出被称为 functional tokens 的紧凑任务选择性子网络，发现专用化优先在深层形成，浅层则保留共享计算。这些 functional tokens 无需重新训练即可重新组合，直接重构复合计算。
来源：arXiv cs.LG · arxiv.org