基于行列尺度场的 Transformer 权重介观视角分析

该研究提出通过行列尺度场在介观层面分析 Transformer 权重，利用通道的中位数居中 log-RMS 概况结合全局尺度与平衡核心精确表征矩阵。在 4 种尺寸的 Pythia 检查点及 3 种初始化测试中，平衡后核心幅值概况高度相似，Query/Key 概况与 RoPE 频率对齐，且展平相对通道增益会导致分布内损失上升。