神经网络模型更偏好其子模型吗？

研究通过几何框架探讨了神经网络模型是否会偏好其子模型，即损失函数的局部极小值是否落在子模型中。研究表明浅层多层感知机中含未激活隐藏神经元的子网络绝不会被偏好，并给出了深层多层感知机不偏好此类子网络的条件；对于 lightning 自注意力机制，低秩子模型通常也不被偏好。结果指出除少数位于模型边界的特例外，模型对子模型的偏好无法仅通过模型几何结构解释，必须归因于训练动态等其他因素。