arXiv cs.LG· Alvard Barseghyan, Ani Vanyan, Hakob Tamazyan, Hrant Khachatrian·· 19 天前AI 评分39
图像自蒸馏的数据密度扩展定律研究
Data Density Scaling Laws for Image Self-Distillation
AI 导读
研究发现图像自蒸馏模型中样本重复对下游性能的影响因数据集而异，在部分场景下对较小随机子集重复训练的表现甚至优于使用更多唯一样本。基于 Maxar、Waymo、ImageNet 等数据集的实验，研究团队提出了一种改进的 Chinchilla 风格扩展定律，明确计入唯一样本量与单样本重复次数。该框架为理解数据与算力权衡提供了支持，同时还分析了子集选择和数据增强对下游性能的影响。
来源：arXiv cs.LG · arxiv.org