arXiv cs.LG· Lngel Kyo (A2O Labs)·· 4 天前AI 评分29
在不同 $\varepsilon$ 下重放相同梯度：针对 Adam $\varepsilon$ 固定轨迹解释的预注册检验
Replaying the Same Gradients at a Different $\varepsilon$: A Registered Test of the Fixed-Trajectory Account of Adam's $\varepsilon$ for One Rare Row
AI 导读
一项针对小型因果 Transformer 的预注册研究通过在不同 $\varepsilon$ 下重放相同梯度，直接检验了 Adam 优化器中 $\varepsilon$ 对罕见 token 嵌入行的固定轨迹解释。
来源：arXiv cs.LG · arxiv.org