arXiv cs.LG· Ahmed Mehdi Inane, Mahdi Haghifam, Gintare Karolina Dziugaite, Ioannis Mitliagkas·· 11 天前AI 评分33
迈向保真数据选择：统计极限与可扩展算法
Towards Faithful Data Selection: Statistical Limits and Scalable Algorithms
AI 导读
新研究证明在缺乏超大规模验证集时，信息论上无法选出使总体误差最小的最优训练子集，并据此提出了以“保真度（faithfulness）”为目标的新数据选择框架。该方法利用未调整朗之万算法建模训练，通过累积梯度差异约束参数分布的 KL 散度，并设计了可单调降低该界限的交换局部搜索算法。方案在 CIFAR10 和 CIFAR100 上匹敌现有基线，相关代码已开源。
来源：arXiv cs.LG · arxiv.org