arXiv cs.LG· Xiaoyu Li, Zhizhou Sha, Chiwun Yang, Dai Shi·· 22 天前AI 评分40
参数高效微调（PEFT）的范畴学图谱：锥、轨道与规范
A Categorical Atlas of Parameter-Efficient Fine-Tuning: Cones, Orbits, and Gauges
AI 导读
研究提出将参数高效微调（PEFT）方法视作权重空间平滑映射，利用范畴学框架系统分析其表达能力与训练动态。作者通过公式提取的 7 个坐标对来自 138 篇论文的 382 种微调方法完成分类，构建了包含 403 条模拟关系与 485 个阻隔的图谱。论文还严格证明了零初始化 LoRA 始于锥顶点、更新秩无法超过自身两倍等多项数学性质。
来源：arXiv cs.LG · arxiv.org