对称性破缺是有限容量的代价

最新研究表明，当模型容量有限时最优模型必然会打破对称性，且这一代价可被精确量化。对于高斯双线性预测问题，对称性的对数损失代价精确为 $(U_k-I_k)/(2\sigma^2)$；注意力头同样受头维度秩限制，在三维方向拟合中打破对称性的表现与理论预测一致（RMSE 0.004）。在尖锐 softmax 注意力下，破缺头在 20 个测试头维度中的 16 个均击败了全对称头。