扩散模型中的去噪分数匹配：秩约束对泛化能力的影响

一项新研究分析了扩散模型中带有低秩非线性项与线性跳跃连接的分数网络，揭示了秩约束对去噪分数匹配泛化表现的调控机制。基于三层网络和随机特征分数模型的实验与理论推导表明，增加秩会降低训练误差，但测试误差表现取决于样本量与数据维度。研究通过截断奇异值分解给出了精确的极限误差，指明数据子空间正交补的维度构成了自然的秩阈值。