arXiv cs.LG· Elvis Dohmatob·· 18 天前AI 评分35
仅保留最难样本训练的理论优势：数据剪枝可达贝叶斯最优收敛率
Hard Way, The Only Way: Provable Merits of Training on Hardest Examples
AI 导读
新研究提出了加权经验风险最小化（ERM）下数据剪枝的高维学习理论，证明战略性剪枝可将分类测试误差衰减率从传统非指数尾部损失的 sqrt(N/P) 加速至贝叶斯最优的 N/P。该理论在样本量 P 远大于输入维度 N 的场景下表明，仅保留最难的 2N 个训练样本并丢弃其余大部分数据，即可实现上述最优性能。同时，该框架还刻画了剪枝策略与损失函数及标签噪声的相互作用。
来源：arXiv cs.LG · arxiv.org