跳到正文

#图像生成

今日 0 条
11月2日周一
  1. arXiv cs.LG43

    RetryRoute:面向智能体图像编辑服务的重试感知模型路由

    研究团队提出面向智能体图像编辑服务的重试感知路由机制 RetryRoute,针对重试成功率仅为首次 17-53% 的“粘性失败”问题优化调度。该机制根据失败历史评估各模型成功率,统筹规划重试、模型升级与放弃,并引入实时队列等待实现负载感知。实验显示其成功率较 11 个基线平均高出 2.8 点,在 GPU 平台上将 SLO 达标交付比例提升 5.0-6.3 个百分点。

  2. arXiv cs.LG35

    不落下任何通道:通过残差门理解 Diffusion 训练加速

    新研究发现 Diffusion Transformer 的训练加速主要源于 AdaLN-Zero 残差门控路径的重组,而非仅依赖辅助目标的特征约束。研究团队引入归一化参与率(nPR),证实更宽的门控通道参与度直接对应更好的生成质量。基于此提出的无教师模型径向正则化在 ImageNet 256×256(SiT-B/2)上实现了比 dispersive loss 更优的 FID。

  3. arXiv stat.ML34

    用于生成建模的临界阻尼高阶朗之万动力学

    研究人员提出临界阻尼高阶朗之万动力学方法,将系统分析中的临界阻尼概念引入生成模型,把高阶朗之万动力学(HOLD)推广至任意阶。该方法在 n 维场景下推导出一套最优超参数,并给出前向过程均值和协方差的闭式解以简化实现。相关实验在 CIFAR-10 与 CelebA-HQ 256x256 数据集上开展,并通过 FID 指标进行了验证。

11月1日周日
  1. The Decoder60

    Adobe 联合团队提出 EditAgent,让 AI 智能体像专业修图师一样调度工具

    Adobe Research 与加州大学圣地亚哥分校研究人员推出图像编辑智能体 EditAgent,通过并行调用专用工具并基于量化验证数据筛选最佳结果。在 600 项编辑测试中,标准大语言模型结合编辑区特写、变化图及色彩亮度统计后,挑选可用方案的准确率达到 81.3%,超过了专门微调的 EditScore-72B。该系统还能防止后续步骤破坏先前的编辑成果,并产出高质量数据反哺编辑器微调。

10月29日周四
  1. arXiv cs.LG33

    Variational Atlas Autoencoders 与自监督坐标卡选择

    研究人员提出 Variational Atlas Autoencoders,通过构建局部潜在表示图册与潜在证据路由,实现了完全自监督的坐标卡分配。该模型通过识别重叠区域与转换映射,支持贴近数据流形的跨图卡连续插值。在 CelebA 等数据集上,其潜在空间结构和采样质量均优于同容量基线,且采样仅需评估单个图卡的解码器。

  2. arXiv cs.AI39

    StruPO:从结构反馈到提示词策略,学习高保真文生图提示词编辑器

    研究人员提出结构感知提示词编辑器 StruPO,通过校准场景图将外部结构反馈转化为可复用的文生图编辑策略。在 3 个 2K 提示词测试集与 4 个冻结骨干网络的实验中,该方法改善了保真度与美学权衡,并持续提升关系保真度。15 名标注员研究与自动评测表明,关系越复杂人类偏好优势越明显,且校准后可单次生成优化提示词,无需迭代重写。

10月28日周三
  1. arXiv stat.ML33

    c-Rectified Flow 的计算与统计理论保证

    研究针对生成模型核心架构 rectified flow 展开理论分析,证明迭代 c-rectified flow 在适度假设下始终收敛至最优传输耦合,解决了普通方法失效的问题。团队进一步在二次与强凸位移成本下确立了单步收缩与指数收敛保证。结合新分数估计率,该框架在维度 $d \ge 3$ 时实现了最优传输的速率最优估计,在 $d=1,2$ 时达到近参数速率。

  2. arXiv stat.ML33

    潜在非线性去噪得分匹配(LNDSM)增强结构化分布学习

    研究人员提出潜在非线性去噪得分匹配(LNDSM),将结构感知的非线性潜在扩散模型与变分自编码器(VAE)框架相结合,以增强对结构化数据分布的学习。该方法在前向扩散中引入高斯混合模型等预设参考分布,通过 Euler-Maruyama 离散化近似交叉熵上界并去除高方差控制变量,实现编码器、解码器与潜在得分网络的稳定联合训练。

10月27日周二
  1. arXiv cs.LG36

    扩展 Transformer 能量模型实现高质量图像合成

    研究团队提出潜在空间下的 Transformer 能量模型(TEM),解决了传统能量模型在高维采样与深度架构训练中的瓶颈。通过多层能量求和与正表示对齐(PRA),TEM-XL 在无需无分类器引导的情况下,在 ImageNet 256×256 上取得 3.82 的 FID-50K,512×512 达 8.24。该方法同时验证了组合生成、zero-shot 图像修复及分布外检测能力。

  2. arXiv stat.ML32

    扩散模型记忆效应的有效早期检测

    研究提出将拆分保形校准与序列监控相结合的方法,用于无条件扩散模型去噪轨迹中训练数据记忆效应的无提示词早期检测,并有效控制虚警率。该研究在无条件 CIFAR-10 EDM 上对比了单步 Bonferroni 校准与基于最大记忆分数的轨迹级校准。实验表明,轨迹级校准能更充分利用虚警预算,在保持检测能力的同时可在更高噪声水平下实现更早检测。

  3. arXiv stat.ML40

    扩散网络中的噪声传输负担:为什么图像预测能优于噪声预测

    新研究提出扩散网络的噪声传输负担机制,解释了有限网络下清晰图像预测表现优于噪声预测的原因。理论分析表明,数据维度 $d$ 且秩 $r<d$ 的线性输入瓶颈会使噪声预测产生 $\sigma_t^2(d-r)$ 的去噪误差下限,而图像预测风险保持有界且精确预处理可消除该瓶颈。JiT 模型在 ImageNet 上的实验完全验证了该误差下限与模型宽度的光谱特性。

10月22日周四
  1. arXiv stat.ML35

    DiT 如何去噪?从注意力与 MLP 的“聚合器-预测器”视角解析

    DiT 被研究提出可视为输入自适应的局部去噪器,其中 AdaLN 调节的注意力机制充当上下文聚合器,MLP 承担 patch 预测角色。理论证明高斯马尔可夫随机场先验下去噪误差随上下文半径呈指数衰减。在 CelebA64 实验中,使用共享内存 patch 预测器替代 DiT MLP 取得了具竞争力的生成性能,跨数据集移植亦验证了各组件分工。

  2. arXiv stat.ML35

    基于非线性薛定谔桥与分支扩散的生成建模

    研究人员提出基于正反向偏微分方程的新型生成建模框架 SBNL,将经典薛定谔桥扩展至非线性系统。该方法结合分支扩散与半线性 PDE 的概率表示设计求解算法,具备高度易并行特性并可扩展至高维空间。团队在 MNIST 和 FFHQ 人脸图像合成等任务上验证了有效性,该框架同时统一了扩散模型与基于分数的生成模型。

  3. arXiv stat.ML35

    用于低 NFE 生成流的密度级反向误差分析

    研究者提出了用于低 NFE 生成流 ODE 采样的密度级反向误差框架,可识别求解器修正方程缺陷中改变边际分布的分量。该方法能导出感知求解器阶数的算力分配规则,并通过规范自由度选取数值表现更优的速度场表示。在预训练 CIFAR-10 EDM 概率流 ODE 实验中,密度感知分配持续改善了低 NFE 区间的固定步长 Euler 采样表现。

10月21日周三
  1. arXiv stat.ML34

    经验去噪器的隐私核算

    针对扩散模型采样阶段的隐私损失,研究者构建了免训练的裁剪经验去噪器,通过显式计算单步敏感度实现差分隐私核算。研究发现隐私损失在语义内容形成的关键窗口期急剧上升,据此设计了前段采用私有经验去噪、后段切换至公开神经去噪的混合采样器。CIFAR-10 和 CelebA-64 实验表明,采样时策略同样直接影响扩散模型的隐私性。

10月19日周一
  1. arXiv cs.LG37

    大型扩散模型不仅需要 EMA

    大型扩散模型仅靠恒定学习率搭配指数移动平均(EMA)存在优化局限,研究发现结合学习率衰减或采用 Schedule-Free 优化可实现更优表现。实测显示学习率衰减与 EMA 具有互补收益,而 Schedule-Free 无需依赖衰减时机即可在各训练阶段全面超越恒定学习率的 EMA,兼顾更低的评估目标与生成质量。该优势还成功拓展至 ReFL 和生成器端 DMD 等不同优化场景。

10月16日周五
  1. arXiv stat.ML35

    流映射训练的稳定性与收敛性研究

    该研究为流映射(Flow Map)训练中停止梯度算子和自适应加权等经验技巧提供了理论解释。通过分析 MeanFlow 与 Lagrangian 损失诱导的泛函梯度流,研究证实了其收敛到真实流映射的有效性,并指出有限步更新可能无界的问题。结合自适应归一化与特定重加权方案可确保有界更新及邻域收敛,合成数据与图像实验均验证了该训练动态分析。

  2. arXiv cs.LG38

    少步生成模型的噪声空间奖励对齐

    针对少步生成模型的对齐难题,新研究提出噪声策略优化(NPO),通过在初始噪声空间学习均摊流策略并冻结生成器实现奖励对齐。该方法结合基于 ELBO 的似然估计提升训练效率,推理时仅需轻量噪声采样。在图像、语言和蛋白质结构生成中,NPO 性能优于直接微调,且推理成本比测试时搜索方法降低 16 到 549 倍。

  3. arXiv cs.AI34

    基于拉回方向的可控多样性扩散模型采样方法

    研究人员提出一种免训练的扩散模型可控多样性采样方法,以解决条件生成中不同随机种子样本视觉相似、限制创意探索的问题。该方法利用从条件嵌入空间到图像空间映射所诱导的局部拉回几何结构,识别输出敏感度最大的方向,并引导采样轨迹沿这些方向生成差异化图像。在 MS-COCO 和 BrushNet 上的实验证明,该方法能有效提升提示词条件图像生成及图像修复的多样性。

  4. arXiv cs.AI41

    扩散模型的校正训练方法

    研究人员提出一种用于扩散模型的校正训练方法,通过在去噪步骤中引入校正器迭代优化预测,以缩小训练与推理间的曝光偏差差距。该方法在 DiT、SiT 和 JiT 上显著改善了无引导及无条件生成的 FID 分数,效果可媲美 CFG,且结合 CFG 能提升多样性并减少过饱和。校正带来的额外推理开销还可通过蒸馏回基础模型消除,在无额外推理成本下保留质量提升。

10月15日周四
  1. arXiv stat.ML36

    基于正无标记学习的扩散模型渐近精确负向引导方法

    研究者提出一种基于正无标记学习(Positive-Unlabeled learning)的扩散模型负向引导方法,能直接从显式目标概率密度中进行采样。该方法在扩散轨迹上进行轻量在线训练来估计样本属于非期望条件的概率,并利用序贯蒙特卡罗(Sequential Monte Carlo)修正漂移偏差,在粒子极限下达到渐近精确。实验表明,该方法在高斯混合模型及预训练图像生成场景中均优于现有方法。

  2. arXiv cs.LG37

    损失曲率作为扩散模型记忆特性的免采样代理指标

    研究人员提出将输入损失曲率(即训练损失 Hessian 矩阵的 Frobenius 范数)作为免采样的有效代理指标,用于量化扩散模型对训练数据的记忆特性。在训练过程中追踪平均输入曲率可识别模型何时开始复现训练数据;同时结合反事实记忆定义证明,留一模型的输入曲率直接控制样本的反事实记忆程度,在损失局部特征与样本生成概率间建立了理论关联。

  3. Apple ML Research51

    Apple 研究团队探索三模态掩码扩散模型的设计空间

    Apple 研究团队系统探索了三模态掩码扩散模型(MDM)的设计空间,在文本、图像-文本与音频-文本数据上完成了从头预训练。研究提出了基于随机微分方程(SDE)的重参数化方法以解耦物理与逻辑批大小,并在 3B 规模与 6.4T tokens 训练下展示了文本生成、T2I 和 T2S 任务的统一生成表现。

10月12日周一
  1. arXiv cs.LG42

    DiffusionART:高效、稳定且可扩展的扩散模型强化学习方法

    研究人员提出扩散模型强化学习方法 DiffusionART,无需可微奖励模型和 EMA 调优即可实现高效稳定训练,并已开源代码。在 HunyuanVideo-13B 任务中,该方法达到同类方案后期平均奖励水平所需的 GPU 工时比 DiffusionNFT 和 Flow-GRPO-Fast 分别减少 12.02 倍与 11.72 倍,平均训练奖励分别提升 28.8% 和 53.0%。

  2. arXiv cs.LG40

    CacheScope:面向免训练扩散模型加速的精确计算分配

    研究人员提出免训练扩散模型加速方法 CacheScope,通过在线识别高风险特征复用步骤并回退至完整计算,实现最高 3.57x 加速。该方法无需额外训练、梯度或辅助网络,利用输入位移归一化探针信号来准确评估缓存风险。在 FLUX.1-dev、Wan2.1-T2V-1.3B 与 Open-Sora 1.2 上,其中位数 LPIPS 较最强探针基线降低最高达 70.1%。

10月10日周六
  1. arXiv cs.AI35

    相同路径代价,不同输出效应:理解扩散模型中的扰动传播

    一项新研究提出了分析扩散模型采样扰动传播的理论框架,结合动力学分析与信息论表征,解释采样扰动如何影响最终生成输出。该研究用轨迹分布间的 KL 散度定义路径代价,并在预训练扩散模型中证实不同采样阶段与空间频率对等路径代价扰动的敏感性存在差异。该框架还成功应用于基于缓存的加速方案,可可靠识别因缓存导致较大图像误差的采样区间。

10月9日周五
  1. arXiv cs.LG35

    多带宽分布匹配蒸馏:论分布匹配蒸馏与漂移模型的等价性

    论文证明了训练单步漂移模型(Drifting Models)与常用的分布匹配蒸馏(DMD/DMD2)具有自然等价性。研究表明,将预训练扩散与流式生成模型(DFSGMs)的速度场或噪声场转换为引力场,并从生成分布中估计斥力场,即可将训练漂移模型与 DMD 精确对应。基于该等价视角,作者提出了一种改进方法多带宽分布匹配蒸馏(MBDMD)。

10月8日周四
  1. Apple ML Research39

    规范化轨迹模型 NTM(Normalizing Trajectory Models)

    研究人员提出规范化轨迹模型 NTM,将少步生成中的反向步骤建模为具备精确似然训练的条件规范化流。NTM 架构结合了单步浅层可逆块与跨轨迹深层并行预测器,支持从头训练或从预训练流匹配模型初始化。在文生图基准测试中,NTM 仅需 4 步采样即可匹配或超越强基准,同时保留了生成轨迹的精确似然。

  2. arXiv cs.LG38

    用于无数据扩散模型蒸馏的一致性分布匹配方法

    新研究提出 Consistent Distribution Matching,一种面向扩散与流模型的无模拟、无数据知识蒸馏方法。该方法用单个学生网络统一样本生成与得分估计,仅需一个冻结教师网络和一个学生网络并优化单一目标。在 ImageNet 256×256 上,其在 40 个 epoch 内达到 1-NFE FID 2.04 和 4-NFE FID 1.37,相关代码与模型已开源。

  3. arXiv stat.ML34

    动能朗之万结合分裂吉布斯:基于扩散先验加速成像逆问题后验采样

    RED-KLwSGS 算法将分裂吉布斯采样与单步去噪 score 驱动的欠阻尼(动能)朗之万扩散相结合,在保持低单步计算成本的同时实现了强对数凹先验下的非渐近 Wasserstein-2 收敛。该研究还提出了双变量更新版本 Joint-RED-KLwSGS。在 FFHQ 和 ImageNet 数据集上的实验表明,以扩散模型为先验时,该方法收敛更快且重建质量优异。

  4. arXiv cs.AI26

    面向谱扩散模型的能量条件噪声调度与白化

    研究提出一种用于变换域扩散模型的能量自适应噪声调度与谱白化策略,可依据变换系数能量和图像能量路径联合调节注入噪声。该前向过程保留了高斯转移闭式解,无需修改扩散架构即可直接兼容标准 DDPM 与 DDIM 流程。在 CIFAR-10 上的实验表明,该方法将紧凑型 DCTdiff U-Net 变体的 FID 从 142.48 降至 100.45。

10月7日周三
  1. arXiv cs.LG34

    扩散模型是否该去除残差连接?DDT-RFE 架构研究

    研究人员提出 DDT-RFE 架构,通过移除解耦扩散 Transformer(DDT)编码器块内的残差连接,促使模型学习更高级别的抽象特征表征。该架构将输入 patch embedding 与多深度编码器特征融合供解码器使用,在减少编码器块的同时全面提升多项视觉理解任务性能,并在 ImageNet 图像生成中获得更低的 FID。

  2. arXiv stat.ML37

    Fréchet Inception Distance(FID)的样本最优估计

    研究提出基于 U-统计量去偏的 FID 估计算法 RTD,达成样本最优复杂度 $O(d/\epsilon^2)$,解决了传统经验估计器的有限样本偏差。在带 Inception 嵌入的 ImageNet 评测中,RTD 在标准 50K 样本预算下误差最低,而提出的 VALE_2 仅需 10K 样本即可达到 FID_\infty 在 50K 样本时的精度;相关代码已开源。

  3. arXiv stat.ML38

    扩散模型中的特征信息动力学

    研究者提出信息论框架“特征信息动力学”(feature information dynamics),用于定量定位扩散模型在去噪过程中何时生成特定特征。该方法利用 I-MMSE 恒等式构建特征信息密度估计器与链式分解,量化证实了像素扩散中的谱自回归现象。实验进一步揭示了像素、SDVAE、VAVAE 与 RAE 表征在条件链下的特征密度差异,相关代码已开源。