arXiv stat.ML· Ruoyu Zhao, Mingxuan Zhang, Jianbo Dai, Jiaqi Wu, Chenyu Zhu, Tong Che·· 25 天前AI 评分34
罕见门控分歧限制模型可塑性：梯度流何时误判有限批次 SGD
Rare Gate Disagreements Can Limit Plasticity: When Gradient Flow Mispredicts Finite-Batch SGD
AI 导读
研究表明总体梯度流在预测模型可塑性时会定性误判有限批次 SGD，源于长预训练后罕见的门控分歧限制了适应能力。在双单元 ReLU 回归中，梯度流可在目标任务上以线性时间恢复，而在线 SGD 在阶为 $e^{c/\eta}$ 的步数内大概率失败。
来源：arXiv stat.ML · arxiv.org