跳到正文

#图像生成

今日 0 条
10月11日周日
  1. 量子位75

    Google发布图像生成模型Nano Banana 2.1,支持4K直出且下调API价格

    Google正式发布图像生成模型Nano Banana 2.1,支持4K摄影级直出与自由蒙版背景替换,在Arena评测中文生图与编辑评分平均提升约61.7分。该版本显著改善了中文文字排版与错字问题,并将1K与2K图片生成的API调用价格减半、4K降价约25%。目前模型已上线Gemini应用与Google AI Studio,并同步提供付费API接入。

10月10日周六
  1. arXiv cs.AI35

    相同路径代价,不同输出效应:理解扩散模型中的扰动传播

    一项新研究提出了分析扩散模型采样扰动传播的理论框架,结合动力学分析与信息论表征,解释采样扰动如何影响最终生成输出。该研究用轨迹分布间的 KL 散度定义路径代价,并在预训练扩散模型中证实不同采样阶段与空间频率对等路径代价扰动的敏感性存在差异。该框架还成功应用于基于缓存的加速方案,可可靠识别因缓存导致较大图像误差的采样区间。

10月9日周五
  1. arXiv cs.LG35

    多带宽分布匹配蒸馏:论分布匹配蒸馏与漂移模型的等价性

    论文证明了训练单步漂移模型(Drifting Models)与常用的分布匹配蒸馏(DMD/DMD2)具有自然等价性。研究表明,将预训练扩散与流式生成模型(DFSGMs)的速度场或噪声场转换为引力场,并从生成分布中估计斥力场,即可将训练漂移模型与 DMD 精确对应。基于该等价视角,作者提出了一种改进方法多带宽分布匹配蒸馏(MBDMD)。

10月8日周四
  1. Apple ML Research39

    规范化轨迹模型 NTM(Normalizing Trajectory Models)

    研究人员提出规范化轨迹模型 NTM,将少步生成中的反向步骤建模为具备精确似然训练的条件规范化流。NTM 架构结合了单步浅层可逆块与跨轨迹深层并行预测器,支持从头训练或从预训练流匹配模型初始化。在文生图基准测试中,NTM 仅需 4 步采样即可匹配或超越强基准,同时保留了生成轨迹的精确似然。

  2. arXiv cs.LG38

    用于无数据扩散模型蒸馏的一致性分布匹配方法

    新研究提出 Consistent Distribution Matching,一种面向扩散与流模型的无模拟、无数据知识蒸馏方法。该方法用单个学生网络统一样本生成与得分估计,仅需一个冻结教师网络和一个学生网络并优化单一目标。在 ImageNet 256×256 上,其在 40 个 epoch 内达到 1-NFE FID 2.04 和 4-NFE FID 1.37,相关代码与模型已开源。

  3. arXiv stat.ML34

    动能朗之万结合分裂吉布斯:基于扩散先验加速成像逆问题后验采样

    RED-KLwSGS 算法将分裂吉布斯采样与单步去噪 score 驱动的欠阻尼(动能)朗之万扩散相结合,在保持低单步计算成本的同时实现了强对数凹先验下的非渐近 Wasserstein-2 收敛。该研究还提出了双变量更新版本 Joint-RED-KLwSGS。在 FFHQ 和 ImageNet 数据集上的实验表明,以扩散模型为先验时,该方法收敛更快且重建质量优异。

  4. arXiv cs.AI26

    面向谱扩散模型的能量条件噪声调度与白化

    研究提出一种用于变换域扩散模型的能量自适应噪声调度与谱白化策略,可依据变换系数能量和图像能量路径联合调节注入噪声。该前向过程保留了高斯转移闭式解,无需修改扩散架构即可直接兼容标准 DDPM 与 DDIM 流程。在 CIFAR-10 上的实验表明,该方法将紧凑型 DCTdiff U-Net 变体的 FID 从 142.48 降至 100.45。

10月7日周三
  1. arXiv cs.LG34

    扩散模型是否该去除残差连接?DDT-RFE 架构研究

    研究人员提出 DDT-RFE 架构,通过移除解耦扩散 Transformer(DDT)编码器块内的残差连接,促使模型学习更高级别的抽象特征表征。该架构将输入 patch embedding 与多深度编码器特征融合供解码器使用,在减少编码器块的同时全面提升多项视觉理解任务性能,并在 ImageNet 图像生成中获得更低的 FID。

  2. arXiv stat.ML37

    Fréchet Inception Distance(FID)的样本最优估计

    研究提出基于 U-统计量去偏的 FID 估计算法 RTD,达成样本最优复杂度 $O(d/\epsilon^2)$,解决了传统经验估计器的有限样本偏差。在带 Inception 嵌入的 ImageNet 评测中,RTD 在标准 50K 样本预算下误差最低,而提出的 VALE_2 仅需 10K 样本即可达到 FID_\infty 在 50K 样本时的精度;相关代码已开源。

  3. arXiv stat.ML38

    扩散模型中的特征信息动力学

    研究者提出信息论框架“特征信息动力学”(feature information dynamics),用于定量定位扩散模型在去噪过程中何时生成特定特征。该方法利用 I-MMSE 恒等式构建特征信息密度估计器与链式分解,量化证实了像素扩散中的谱自回归现象。实验进一步揭示了像素、SDVAE、VAVAE 与 RAE 表征在条件链下的特征密度差异,相关代码已开源。

  4. TechCrunch · AI42

    前 Ramp 工程师废弃首款产品后为 AI 平台 Melius 融资 $20M

    由前 Ramp 工程师创办的广告创意 AI 平台 Melius 宣布累计完成 $25M 融资,其中包括由 CRV 领投的 $20M A 轮融资。该团队在彻底废弃最初的广告优化产品后转型构建创意 AI 智能体平台,用于生成广告、图像和视频。团队表示自 7 月结束隐形模式后,在两个月内年化收入已突破 $1M。

10月5日周一
  1. TechCrunch · AI73

    OpenAI 在 ChatGPT 图像生成结果旁推出视觉展示广告

    OpenAI 宣布在 ChatGPT 广告产品线中新增视觉展示广告,将随用户请求生成的图像一同呈现,本月晚些时候率先在美国测试。广告将带有明确标识且不影响生成答案,同时 OpenAI 还扩展了包含 AppsFlyer、Adjust、IAS 等在内的归因、地理实验与品牌适合度测量合作生态。该举措旨在为免费与低价订阅层级构建广告变现支撑,后续全球推广将覆盖每周 12 亿用户。

  2. arXiv stat.ML34

    AREX:用于 Flow Matching 少步采样的仿射残差指数积分器

    AREX 是一种面向预训练 Flow Matching 模型的免训练采样器,旨在提升少步采样场景下的生成保真度。该方法将动力学分解为由目标前二阶矩决定的仿射分量与神经网络残差项,并通过显式矩阵值传播器解析求解仿射部分。在图像与文生图任务中,AREX 无需重新训练底层模型即可持续改善少步采样的样本质量。

  3. arXiv stat.ML36

    迭代一致性模型:稳定性、误差界与噪声调度

    一项新研究针对多步一致性模型(CMs)提出非渐近误差界,将初始化误差的收缩与逼近误差的累积解耦。理论证明早期大噪声负责驱动收缩,后期小噪声则控制残差偏置,并给出了强对数凹与半对数凹目标的显式常数。该成果为多步 CMs 采样器设计提供了收敛性理论保障与实践路径。

  4. arXiv stat.ML36

    ENCORE:基于复制交换的扩散模型生成精确非平衡控制方法

    研究人员提出用于扩散模型生成的首个精确并行控制方法 ENCORE,可在推理阶段无需重新训练即可将预训练生成模型引导至目标分布。该方法通过让每个副本保存生成轨迹,将向上移动简化为截断操作,从而无需模拟难解的时间反演,并在理论上保证了目标不变性与稳定性。实验表明,ENCORE 在合成目标、生物分子玻尔兹曼采样及图像生成中兼具准确率与多样性,且适用于蒸馏采样器。

  5. arXiv cs.AI37

    遍历文生图扩散模型中的满意度-多样性前沿

    无需训练的文生图推理方法 SatisDive 提出通过设定奖励底线和多样性截断,在优先提升低分候选图像奖励的同时保持高分图像的多样性。在 Pick-a-Pic 上匹配 DreamSim 时,SatisDive 在 FLUX.1-dev 和 SANA-1.6B 下将最差候选奖励比 FK steering 最高提升 0.43 和 0.70,其满意度-多样性曲线全面 Pareto 占优。

  6. arXiv cs.AI35

    CALM:分析文生图生成中全局不安全表征的局限

    研究人员提出无需训练的文生图安全防护机制 CALM,通过局部反事实校正替代传统的全局不安全信号移除。针对全局表征消除在覆盖度与选择性上的失衡难题,CALM 仅对违规 token 表征进行最小化编辑并抑制不安全残差。实验表明,CALM 在显著提升不安全内容抑制效果的同时,有效保留了良性提示词的生成效用。

  7. arXiv cs.AI36

    MintFlow:受约束流匹配的最小轨迹干预

    MintFlow 是一种面向受约束流匹配的无训练采样框架,通过对预训练流轨迹实施最小干预来满足测量与物理定律等目标约束。该方法利用伴随公式推导出状态微扰的闭式解,避免了昂贵的迭代优化,并可自适应选择干预时间以平衡扰动幅度。在生成视觉与物理系统建模任务中,MintFlow 在满足约束的同时显著减少了对预训练分布的偏离。

  8. arXiv cs.LG34

    用于流映射蒸馏的几何感知时间重参数化

    研究提出用于流映射蒸馏的几何感知时间重参数化方法,在保持几何路径不变的前提下为大法向加速度轨迹区域分配更多学生时间。该方法设计的共享时钟仅需在蒸馏前估算一次,无需重新训练教师模型,亦不增加额外参数或推理网络评估。在 CIFAR-10 和 CelebA-64 上的实验表明,该方案在同等推理预算下提升了一步与两步图像生成质量。

  9. arXiv cs.LG34

    针对扩散草稿树的排序感知投机采样 RASS

    研究人员提出针对扩散草稿树的排序感知投机采样(RASS),通过对候选草稿排序并结合残差校正确保精确采样,以加速扩散生成。该方法在 FFHQ、CIFAR-10 及基于 COCO2014 提示词的 Stable Diffusion 3.5 上完成验证。在相同计算预算下,RASS 全面优于 D-GRS,在 CIFAR-10 上的采样效率增益约达 20%。

10月3日周六
  1. arXiv cs.LG35

    基于方差缩减序贯蒙特卡洛的特异性感知扩散引导

    研究团队提出基于方差缩减序贯蒙特卡洛(SMC)的特异性感知扩散引导方法,解决预训练扩散模型在抑制负参考分布时破坏正分布重叠区的问题。该方法将特异性引导形式化为目标设计问题,通过极小化方差的 SMC 采样与雅可比向量积优化提升稳定性。在类别对比、文生图及肽-MHC结合物任务中,该方法显著减少了模式偏移与权重崩溃,代码已开源。

  2. arXiv cs.LG33

    面向高效生成模型对齐的流形约束初始噪声优化

    研究团队提出免梯度初始噪声对齐方法 ZeNOVA,以解决黑盒奖励场景下生成模型对齐不稳定与效率低的问题。该方法结合退火软值引导、流形约束超球面朗之万动力学与 Metropolis-Hastings 跳跃机制优化初始噪声。图像与视频生成模型实验表明,ZeNOVA 超越所有受测零阶基线,在黑盒奖励对齐中表现出更高的稳定性与奖励收益。

  3. arXiv cs.LG36

    零假设才是难点:生成模型记忆效应的精确检验

    新研究针对生成模型记忆审计因缺乏零分布导致误判的问题,提出了面向整模型与单图像记忆的精确检验方法。经匹配对照校准后,该方法在 5% 错误发现率下将 MemBench 认证的 61 张图像确认至 36 张,校准极大值法可确认 46 张。研究推荐利用交叉欧拉示性数图谱(IECP)小尺度质量统计量检测复制图像,并检验不同模型间的复制重合。

  4. arXiv cs.LG38

    蒸馏扩散分数差异以实现高效训练数据归因

    研究提出扩散模型训练数据归因方法 TID 及蒸馏版本 TIDE,无需重训即可根据局部分数差异高效溯源样本。TID 适用于 DDPM、EDM 与 flow matching,采用 Kronecker 分解曲率免去逐样本梯度存储。在 CIFAR-10、ArtBench-10 与 MS-COCO 评测中,TID 达到 SOTA,TIDE 将查询成本降低 4 到 5 个数量级并实现毫秒级归因。

  5. TechCrunch · AI53

    教皇利奥十四世公开批评 AI 生成艺术

    教皇利奥十四世公开批评 AI 生成艺术,呼吁在人工智能时代保护人类艺术不受机器侵蚀。他指出算法基于数百万图像的统计计算生成内容,与人类艺术存在本体论层面的差异且缺乏人性火花;此外《纽约时报》报道 Anthropic 曾游说梵蒂冈重新考虑对非人类意识的立场,但未见成效。

10月2日周五
  1. The Decoder78

    Black Forest Labs 发布 Flux 3 Image 图像模型,支持多步局部编辑

    Black Forest Labs 推出 Flux 3 家族的图像生成模型 Flux 3 Image,支持在不改变画面其余区域的前提下进行多步局部编辑。模型涵盖文生图、图生图、文字渲染与写实风格,支持边界框构图、最多 10 张参考图像输入以及最高 4K 分辨率输出。目前官方已上线免费 Demo 并开放 API 接入,企业支持私有化部署微调,开源权重版本预计在未来数周内发布。

    推荐理由:模型支持在不破坏原图其余区域的前提下完成多步局部控制,为探索高保真图像编辑和商用微调的团队提供了直接参考。

  2. arXiv stat.ML35

    面向 CFG 扩散模型激活量化的联合分支空间变换编码

    研究人员针对带 CFG 的扩散模型激活量化提出分支空间变换编码,通过离线 2x2 正交矩阵旋转匹配的分支以利用跨激活相关性。该方法进一步推导出结合引导方向与跨分支二阶矩的 GCBT 变换,具备逐层闭式解且无需梯度优化或角度搜索。应用于现有扩散模型 PTQ 方法时,在不改变宿主量化管线的前提下显著提升了生成保真度。

  3. arXiv stat.ML32

    基于先验少步传输映射的源空间 MCMC 后验采样

    针对隐式先验与测试时引导任务,研究人员提出一种结合少步先验传输与后验稳定性保证的源空间广义贝叶斯推断框架。该方法使用单步或少步改进 MeanFlow(iMF)映射表示先验并在高斯源空间进行 MCMC 采样,结合并行回火与分裂哈密顿蒙特卡洛提升效率,并给出了 Wasserstein 误差界。

  4. TechCrunch · AI68

    ChatGPT 上线虚拟试穿与商品收藏功能

    OpenAI 全球上线 ChatGPT 虚拟试穿与商品收藏两项新购物功能。用户可上传自拍或全身照查看服装与配饰的上身效果,或上传单品截图让其进行虚拟试穿,并可将商品保存至应用内的收藏库。该功能基于 ChatGPT Images 2.5 模型构建,具备更自然的光影与纹理表现并降低了图像生成延迟。

  5. The Decoder72

    Ideogram 发布 Ideogram 4.5 模型,主打无损局部图像编辑

    Ideogram 发布新一代图像模型 Ideogram 4.5,主打在进行局部图像修改时保持非编辑区域的一致性。该模型原生支持 2K 分辨率,提供单张图片 0.8 至 22 美分的四个质量档位,覆盖产品摄影、室内设计及图内文字编辑等场景。目前新模型已在 Ideogram 平台和 API 上线,官方称后续还将推出开放权重版本。

10月1日周四
  1. arXiv stat.ML35

    BAM(Bayesian Anything Model):面向生成式计算成像的基础模型

    研究者推出轻量级生成式计算成像基础模型 BAM(Bayesian Anything Model),参数量仅 36M,支持少步、物理感知的后验采样。该模型将 RAM 主干升级为条件流图,仪器物理特性可在推理时动态指定,无需似然近似与引导权重调节。在 FFHQ、LSUN 及 Kohler 等基准上,BAM 仅需 3 步采样即可在质量上超越专用模型与主流零样本方法。

  2. arXiv cs.LG35

    生成去噪器雅可比矩阵的谱特性分析

    新研究提出通过分析去噪器雅可比矩阵的谱来刻画扩散模型与 flow-matching 等生成去噪模型的差异,发现更优的生成性能与更大的雅可比特征值相关。基于该发现,研究团队设计了一种在扰动输入上训练去噪器的正则化方案以调控雅可比谱。在 ImageNet 上的实验表明,强化数据相关主特征方向响应并抑制噪声方向可有效提升生成质量。

  3. arXiv cs.LG34

    基于逆向知识蒸馏的数据遗忘

    研究人员提出逆向蒸馏遗忘框架 IDU,能同时将多步流匹配和扩散模型蒸馏为一步学生生成器,并抑制指定训练子集的输出。该方法仅需预训练教师模型与遗忘集数据,无需访问保留样本、额外特征提取器或分类器。在 MNIST 和 CIFAR-10 上的实验表明,IDU 能大幅降低遗忘类别的生成频率,同时保持保留类别的生成质量。

9月30日周三
  1. arXiv stat.ML30

    Ornstein-Uhlenbeck 扩散虽难超越,但超线性漂移可实现更低传输成本

    研究人员在基于分数的图像生成中测试了超线性朗之万扩散,发现其在经验 Wasserstein 距离上几乎在整个测试网格中都优于 Ornstein-Uhlenbeck 基线。该模型通过 Fokker-Planck 方程数值计算条件分数,且在不同扩散时界下的波动更小,表明 Ornstein-Uhlenbeck 难以被超越的结论并不具备普适性。