微调更新的秩度量需要噪声基准

新研究指出，评估大语言模型微调权重更新的秩度量必须引入随机噪声与无对齐内容的对照基准。在覆盖最高 8B 参数的 13 对开源模型实验中，权重更新均呈现少数强方向叠加长尾分布的特征，且指令微调与代码、维基百科乃至乱序文本的表现高度相似，并非对齐特有。研究还证实同等大小的随机更新同样几乎不改变权重有效秩却会破坏模型，反驳了后训练仅为表层修改的推论。