arXiv cs.LG· Jingquan Yan, Yuwei Miao, Peiran Yu, Junzhou Huang·· 4 天前AI 评分35
B2P-Corr：用于不可分解相关性损失的 Batch-to-Population 梯度估计器
B2P-Corr: Batch-to-Population Gradient Estimators for Non-Decomposable Correlation Losses
AI 导读
针对 PCC 与 CCC 等不可分解相关性指标在 mini-batch 优化中的梯度偏差，B2P-Corr 框架利用轻量全局矩草图将目标转化为可分解伪损失。该框架提出计算复杂度为 $O(B)$ 的 B2P-EMA 与 B2P-U 两个变体，分别采用指数移动平均与跨批次 U-统计量实现渐进梯度跟踪。在 2 个合成与 3 个真实数据集上的实验表明，该方法以极低开销实现了更稳定的优化与更高相关性。
来源：arXiv cs.LG · arxiv.org