arXiv cs.LG· Oleksandr Kholodniak, Oleksandr Prokhorov·· 12 天前AI 评分27
门控初始化对比循环 Dropout 与 Zoneout 学习长程依赖：LSTM 与 GRU 网络的受控研究
Gate Initialisation versus Recurrent Dropout and Zoneout in Learning Long Dependencies: A Controlled Study of LSTM and GRU Networks on Synthetic Tasks
AI 导读
一项涵盖 720 次训练的对照研究表明，chrono 门控初始化在长程依赖合成任务上显著优于循环 Dropout 和 Zoneout 正则化。在常规初始化难以收敛的序列长度下，全部 360 次 chrono 初始化训练均在 5000 次更新内达标，即使时间跨度设定偏差约 4 倍仍有 119/120 次成功。相比之下，常规初始化下 Dropout 普遍拖慢学习，Zoneout 仅在部分条件下有效。
来源：arXiv cs.LG · arxiv.org