arXiv cs.LG· Druv Pai, Dejan Stancevic, Yi Ma, Luca Ambrogioni·· 6 天前AI 评分39
生成式扩散模型训练的信息论缩放定律
Information-Theoretic Scaling Laws for Generative Diffusion Training
AI 导读
一项新研究提出了生成式扩散模型训练的信息论缩放定律，利用可计算的“模型信息”指标刻画模型输出对具体训练集的依赖关系。研究揭示了模型经历从纯记忆过渡到不完全泛化的非线性阶段，以及模型信息线性缩放且样本质量持续改善的泛化阶段。基于该理论导出的记忆与样本质量缩放定律具备良好的域外外推能力，相关代码已在 GitHub 开源。
来源：arXiv cs.LG · arxiv.org