arXiv stat.ML· Joonhyeok Jeong, Jy-yong Sohn, Kibok Lee·· 8 天前AI 评分34
重新思考长尾数据下监督对比学习的表征几何
Rethinking Representation Geometry in Supervised Contrastive Learning under Long-Tailed Data
AI 导读
新研究针对长尾数据下的监督对比学习提出表征几何分析框架,指出代表性对比目标因依赖类别样本量,在最优状态下无法形成正单纯形几何。为此,作者提出结构平衡方法与完全平衡对比目标,在理论上证明其能在最优状态形成正单纯形几何。理论与实验结果表明,该方法构建了更平衡的表征空间,并提升了长尾识别与迁移学习任务的性能。
来源:arXiv stat.ML · arxiv.org