低秩自适应（LoRA）的奇异几何学

一项最新研究基于奇异学习理论的实对数正则阈值（RLCT），分析了低秩自适应（LoRA）的学习复杂度与奇异几何特性。研究揭示 LoRA 在局部线性化下受前向-反向协方差控制，并提出了曲率校正的多温度 RLCT 估计器。在多层感知机与 Transformer 架构上的实验表明，该几何特性具有强烈的层依赖性。