arXiv cs.LG· Yujun Wang, Yiqi Gu·· 16 小时前AI 评分29
线性近似类的通用频率原则
General Frequency Principle for Linear Approximation Classes
AI 导读
研究证明在梯度下降训练下,有限线性近似类的高频学习器相对目标振幅在整个训练过程中一致趋于零,确立了通用频率原则。该工作给出了低频优先的充分条件,涵盖单频目标独立训练以及同轮训练的双频分量。结果表明低频并不总是收敛更快,但在满足条件的常见情况下高频分量学习耗时更长,相关结论已通过勒让德与三角基底数值实验验证。
来源:arXiv cs.LG · arxiv.org