arXiv cs.LG· Shashank Sule, Xinyue Yu, Boonam Shin, Yuxuan Liu, Abolfazl Hashemi, Hayden Schaeffer·· 19 天前AI 评分37
损失曲率作为扩散模型记忆特性的免采样代理指标
Loss Curvature as a Sampling-Free Proxy for Memorization in Diffusion Models
AI 导读
研究人员提出将输入损失曲率（即训练损失 Hessian 矩阵的 Frobenius 范数）作为免采样的有效代理指标，用于量化扩散模型对训练数据的记忆特性。在训练过程中追踪平均输入曲率可识别模型何时开始复现训练数据；同时结合反事实记忆定义证明，留一模型的输入曲率直接控制样本的反事实记忆程度，在损失局部特征与样本生成概率间建立了理论关联。
来源：arXiv cs.LG · arxiv.org