arXiv cs.LG· Marco Miani, Albert Kj{\o}ller Jacobsen, Albert Lopez i Serrano, S{\o}ren Hauberg, Georgios Arvanitidis·· 6 天前AI 评分28
更低的期望 Fisher 秩意味着更好的 PAC 泛化能力
Lower expected Fisher rank implies better PAC generalization
AI 导读
新研究提出一种 Fisher 对齐的参数分布，证明深度学习模型的 PAC 泛化误差界与 Fisher 信息矩阵的期望秩直接相关，期望秩越低泛化表现越好。该方法利用 Fisher 信息度量捕捉功能不变性，在保证低损失的同时实现了与零特征值数量成比例的大参数对数体积，推导出了紧凑的高概率泛化误差界。
来源：arXiv cs.LG · arxiv.org