分类器生长的四种方式及其中一种为何无法学习

研究评估了构造性分类器在训练中动态增加结构的四种生长决策，证明直接将软决策树叶节点转为门控并由子节点继承类别分布会导致新门控梯度为零且子节点梯度完全相同，使新增层级彻底无法学习。该缺陷在 Digits 数据集上相比从头训练损失了 55.6 个准确率百分点，只需对子节点进行微小随机扰动即可修复。研究还发现按残差拟合隐层单元可缩减网络规模，分裂最大期望误差叶节点可提升稀疏度。