arXiv cs.LG· Ningkang Peng, Xiaoqian Peng, Yifan He, Anjie Hu, Chao Tan, Peirong Ma, Yanhui Gu·· 2026-10-02AI 评分36
相同损失,不同梯度
Same Loss, Different Gradients
AI 导读
研究表明,当概率目标依赖特殊函数递推与数值截断时,模型在同一学习状态下可能产生相同的损失却输出不同梯度,从而破坏前后向一致性并导致优化轨迹分歧。针对高维 von Mises-Fisher 学习中的梯度不匹配问题,研究者提出了固定深度的解析实现方法 AR/FR,联合构建势函数及其导数。该方法在非负浓度轴上对精确 Bessel 比值提供了一致的三阶误差界,保证了计算深度固定且保真度可验证。
来源:arXiv cs.LG · arxiv.org