arXiv stat.ML· Anastasis Kratsios, Tin Sum Cheng, Bum Jun Kim, Daniel Roy·· 6 天前AI 评分30
微调何时具备可扩展性？结构化任务转移下的带噪数据可信恢复与线性成本微调
When is Fine-Tuning Scalable? Certified Recovery from Noisy Data and Linear-Cost Fine-Tuning on Structured Task Shifts
AI 导读
一项新研究针对单头 Transformer 提出了两阶段微调方案，证明了在任务共享几何结构时的可验证分布外（OOD）适应。该方案将共享几何结构编码至 Key 矩阵与 Value 分解因子 C，微调时仅需优化因子 A，构成凸优化问题。
来源：arXiv stat.ML · arxiv.org