arXiv cs.AI· Shreya Saha, Benjamin Bergen, Meenakshi Khosla·· 22 天前AI 评分45
神经网络比单个神经元所表现的更具模块化
Neural networks are more modular than single neurons suggest
AI 导读
研究提出包含单元级、正交与线性三层的模块化层级框架,证实神经网络即使缺乏单神经元专门化,也在子空间层面具备清晰的功能模块化。在视觉模型、语言模型及多任务 RNN 中,内容与风格、句法与语义在子空间消融下均成功解耦,并与大脑皮层活动差异化对齐。这使得对特定计算的靶向干预成为可能,为模型机制可解释性提供了新路径。
来源:arXiv cs.AI · arxiv.org