RetryRoute:面向智能体图像编辑服务的重试感知模型路由
研究团队提出面向智能体图像编辑服务的重试感知路由机制 RetryRoute,针对重试成功率仅为首次 17-53% 的“粘性失败”问题优化调度。该机制根据失败历史评估各模型成功率,统筹规划重试、模型升级与放弃,并引入实时队列等待实现负载感知。实验显示其成功率较 11 个基线平均高出 2.8 点,在 GPU 平台上将 SLO 达标交付比例提升 5.0-6.3 个百分点。
研究团队提出面向智能体图像编辑服务的重试感知路由机制 RetryRoute,针对重试成功率仅为首次 17-53% 的“粘性失败”问题优化调度。该机制根据失败历史评估各模型成功率,统筹规划重试、模型升级与放弃,并引入实时队列等待实现负载感知。实验显示其成功率较 11 个基线平均高出 2.8 点,在 GPU 平台上将 SLO 达标交付比例提升 5.0-6.3 个百分点。
新研究发现 Diffusion Transformer 的训练加速主要源于 AdaLN-Zero 残差门控路径的重组,而非仅依赖辅助目标的特征约束。研究团队引入归一化参与率(nPR),证实更宽的门控通道参与度直接对应更好的生成质量。基于此提出的无教师模型径向正则化在 ImageNet 256×256(SiT-B/2)上实现了比 dispersive loss 更优的 FID。
研究人员提出临界阻尼高阶朗之万动力学方法,将系统分析中的临界阻尼概念引入生成模型,把高阶朗之万动力学(HOLD)推广至任意阶。该方法在 n 维场景下推导出一套最优超参数,并给出前向过程均值和协方差的闭式解以简化实现。相关实验在 CIFAR-10 与 CelebA-HQ 256x256 数据集上开展,并通过 FID 指标进行了验证。
Adobe Research 与加州大学圣地亚哥分校研究人员推出图像编辑智能体 EditAgent,通过并行调用专用工具并基于量化验证数据筛选最佳结果。在 600 项编辑测试中,标准大语言模型结合编辑区特写、变化图及色彩亮度统计后,挑选可用方案的准确率达到 81.3%,超过了专门微调的 EditScore-72B。该系统还能防止后续步骤破坏先前的编辑成果,并产出高质量数据反哺编辑器微调。
研究人员提出 Variational Atlas Autoencoders,通过构建局部潜在表示图册与潜在证据路由,实现了完全自监督的坐标卡分配。该模型通过识别重叠区域与转换映射,支持贴近数据流形的跨图卡连续插值。在 CelebA 等数据集上,其潜在空间结构和采样质量均优于同容量基线,且采样仅需评估单个图卡的解码器。
研究人员提出结构感知提示词编辑器 StruPO,通过校准场景图将外部结构反馈转化为可复用的文生图编辑策略。在 3 个 2K 提示词测试集与 4 个冻结骨干网络的实验中,该方法改善了保真度与美学权衡,并持续提升关系保真度。15 名标注员研究与自动评测表明,关系越复杂人类偏好优势越明显,且校准后可单次生成优化提示词,无需迭代重写。
研究针对生成模型核心架构 rectified flow 展开理论分析,证明迭代 c-rectified flow 在适度假设下始终收敛至最优传输耦合,解决了普通方法失效的问题。团队进一步在二次与强凸位移成本下确立了单步收缩与指数收敛保证。结合新分数估计率,该框架在维度 $d \ge 3$ 时实现了最优传输的速率最优估计,在 $d=1,2$ 时达到近参数速率。
研究人员提出潜在非线性去噪得分匹配(LNDSM),将结构感知的非线性潜在扩散模型与变分自编码器(VAE)框架相结合,以增强对结构化数据分布的学习。该方法在前向扩散中引入高斯混合模型等预设参考分布,通过 Euler-Maruyama 离散化近似交叉熵上界并去除高方差控制变量,实现编码器、解码器与潜在得分网络的稳定联合训练。
研究团队提出潜在空间下的 Transformer 能量模型(TEM),解决了传统能量模型在高维采样与深度架构训练中的瓶颈。通过多层能量求和与正表示对齐(PRA),TEM-XL 在无需无分类器引导的情况下,在 ImageNet 256×256 上取得 3.82 的 FID-50K,512×512 达 8.24。该方法同时验证了组合生成、zero-shot 图像修复及分布外检测能力。
研究提出将拆分保形校准与序列监控相结合的方法,用于无条件扩散模型去噪轨迹中训练数据记忆效应的无提示词早期检测,并有效控制虚警率。该研究在无条件 CIFAR-10 EDM 上对比了单步 Bonferroni 校准与基于最大记忆分数的轨迹级校准。实验表明,轨迹级校准能更充分利用虚警预算,在保持检测能力的同时可在更高噪声水平下实现更早检测。
新研究提出扩散网络的噪声传输负担机制,解释了有限网络下清晰图像预测表现优于噪声预测的原因。理论分析表明,数据维度 $d$ 且秩 $r<d$ 的线性输入瓶颈会使噪声预测产生 $\sigma_t^2(d-r)$ 的去噪误差下限,而图像预测风险保持有界且精确预处理可消除该瓶颈。JiT 模型在 ImageNet 上的实验完全验证了该误差下限与模型宽度的光谱特性。
Canva 正式推出自研图像生成模型 Canva Craft,采用在生成前先规划布局的两阶段架构,现已在 Dream Lab 面向全球用户上线。该模型基于平台内数百万套人工模板训练,支持最高 2K 分辨率和 30 多种宽高比,能更准确地生成可读文字与精准布局。Canva 还计划后续推出轻量化版本,并支持 AI 智能体通过 MCP 接入。
设计平台 Canva 发布首款自研图像生成模型 Canva Craft,支持最高 2K 分辨率生成与 55 种语言文本渲染,已通过 Dream Lab 和公共 API 面向所有用户开放。
模思智能与OpenMOSS团队开源5B参数DiT生图模型MOSS-Image,上线4天在海外社区收获130万次下载。模型采用Qwen3.5-9B文本编码器与FLUX.2 VAE,并在训练中剔除AI生成图像,重点优化了中英文文字渲染、结构化JSON Layout构图控制与4096 tokens长提示词支持。目前社区已快速跟进4步/8步加速方案、GGUF量化以及ComfyUI和SGLang推理适配。
推荐理由:原文展示了剔除AI合成数据并结合结构化布局的设计方案,读者可借此了解轻量DiT模型在精准排版与文字渲染上的实践路径。
设计平台 Canva 发布其首个自主研发的图像生成模型 Canva Craft,面向所有用户上线并支持最高 2K 分辨率及 30 种画幅比。该模型基于平台内设计模板训练,采用先规划空间层级再成像的两阶段机制,支持清晰文字排版、局部精准编辑以及转为分层设计。
DiT 被研究提出可视为输入自适应的局部去噪器,其中 AdaLN 调节的注意力机制充当上下文聚合器,MLP 承担 patch 预测角色。理论证明高斯马尔可夫随机场先验下去噪误差随上下文半径呈指数衰减。在 CelebA64 实验中,使用共享内存 patch 预测器替代 DiT MLP 取得了具竞争力的生成性能,跨数据集移植亦验证了各组件分工。
研究人员提出基于正反向偏微分方程的新型生成建模框架 SBNL,将经典薛定谔桥扩展至非线性系统。该方法结合分支扩散与半线性 PDE 的概率表示设计求解算法,具备高度易并行特性并可扩展至高维空间。团队在 MNIST 和 FFHQ 人脸图像合成等任务上验证了有效性,该框架同时统一了扩散模型与基于分数的生成模型。
研究者提出了用于低 NFE 生成流 ODE 采样的密度级反向误差框架,可识别求解器修正方程缺陷中改变边际分布的分量。该方法能导出感知求解器阶数的算力分配规则,并通过规范自由度选取数值表现更优的速度场表示。在预训练 CIFAR-10 EDM 概率流 ODE 实验中,密度感知分配持续改善了低 NFE 区间的固定步长 Euler 采样表现。
针对扩散模型采样阶段的隐私损失,研究者构建了免训练的裁剪经验去噪器,通过显式计算单步敏感度实现差分隐私核算。研究发现隐私损失在语义内容形成的关键窗口期急剧上升,据此设计了前段采用私有经验去噪、后段切换至公开神经去噪的混合采样器。CIFAR-10 和 CelebA-64 实验表明,采样时策略同样直接影响扩散模型的隐私性。
Adobe 在 iOS、iPadOS 和 Android 端的 Lightroom 移动版中推出 Open Eyes 快捷操作,利用生成式 AI 一键修复照片中人物闭眼问题。该功能会自动检测闭眼主体并参考图库中同一人物的其他照片,使新生成的眼睛贴合光影、姿态、颜色与形状;免费版用户支持试用 2 次,后续需订阅 Adobe Creative Cloud 方案。
研究者提出扩散模型强化学习方法 DiffusionRVGE,通过对中心化奖励与最终去噪图像进行回归来构建更新方向,无需奖励导数或沿采样轨迹的反向传播。
大型扩散模型仅靠恒定学习率搭配指数移动平均(EMA)存在优化局限,研究发现结合学习率衰减或采用 Schedule-Free 优化可实现更优表现。实测显示学习率衰减与 EMA 具有互补收益,而 Schedule-Free 无需依赖衰减时机即可在各训练阶段全面超越恒定学习率的 EMA,兼顾更低的评估目标与生成质量。该优势还成功拓展至 ReFL 和生成器端 DMD 等不同优化场景。
研究人员针对条件扩散模型中的无分类器引导(CFG)机制,提出了轻量级的原型正则化(PR)方法,通过塑造潜在空间类别几何来提升引导生成质量。
研究人员提出 Normalizing Flow Maps(NFM),这是一种泛化了规范化流(Normalizing Flows)和流映射的精确可逆前推映射,兼顾少步生成与高效精确似然评估。
该研究为流映射(Flow Map)训练中停止梯度算子和自适应加权等经验技巧提供了理论解释。通过分析 MeanFlow 与 Lagrangian 损失诱导的泛函梯度流,研究证实了其收敛到真实流映射的有效性,并指出有限步更新可能无界的问题。结合自适应归一化与特定重加权方案可确保有界更新及邻域收敛,合成数据与图像实验均验证了该训练动态分析。
针对少步生成模型的对齐难题,新研究提出噪声策略优化(NPO),通过在初始噪声空间学习均摊流策略并冻结生成器实现奖励对齐。该方法结合基于 ELBO 的似然估计提升训练效率,推理时仅需轻量噪声采样。在图像、语言和蛋白质结构生成中,NPO 性能优于直接微调,且推理成本比测试时搜索方法降低 16 到 549 倍。
研究人员提出 FlowBudget,一种用于 Flow Matching 模型的免训练采样复杂度估计方法。该方法通过对学到动态进行免模拟插值探测,将主导的单步离散化误差归一化,并结合求解器阶数将数值容差映射为步数预算(NFE),涵盖 ODE 的 Euler、Heun 以及 SDE 的 Euler-Maruyama 求解器。
特朗普在 Truth Social 发布展示白宫修缮成果的对比照片,其中一张立柱翻新图被 Google 的 SynthID 检测工具标记为由 OpenAI 制作或编辑。Reddit 用户指出该图两侧台阶数量不一致,且与修缮前角度和细节几乎完全重合。经 The Verge 验证,该图片确实包含表明由 AI 创建或编辑的不可见水印。
研究人员提出一种免训练的扩散模型可控多样性采样方法,以解决条件生成中不同随机种子样本视觉相似、限制创意探索的问题。该方法利用从条件嵌入空间到图像空间映射所诱导的局部拉回几何结构,识别输出敏感度最大的方向,并引导采样轨迹沿这些方向生成差异化图像。在 MS-COCO 和 BrushNet 上的实验证明,该方法能有效提升提示词条件图像生成及图像修复的多样性。
研究人员提出一种用于扩散模型的校正训练方法,通过在去噪步骤中引入校正器迭代优化预测,以缩小训练与推理间的曝光偏差差距。该方法在 DiT、SiT 和 JiT 上显著改善了无引导及无条件生成的 FID 分数,效果可媲美 CFG,且结合 CFG 能提升多样性并减少过饱和。校正带来的额外推理开销还可通过蒸馏回基础模型消除,在无额外推理成本下保留质量提升。
Black Forest Labs 正式发布 5.6B 参数的开放权重图像模型 FLUX 3 Image Klein,支持原生 4K 输出、像素级编辑与最多 10 张参考图生成。
推荐理由:原文详细给出了显存门槛与免费商用许可,读者可以评估将其集成到本地消费级硬件或中小业务的落地成本。
The Verge 调查指出,针对名人的 AI 深度伪造内容正在 Instagram 等社交平台大规模传播,甚至借助付费认证蓝标和搜索引擎 AI 摘要误导公众。Meta 虽在媒体质询后封禁了部分仿冒账号,但其规则仍豁免了静态图片的 AI 标签披露,导致虚假肖像内容持续滋生;与此同时,YouTube 则主要依靠肖像检测系统配合下架申请进行治理。
研究者提出一种基于正无标记学习(Positive-Unlabeled learning)的扩散模型负向引导方法,能直接从显式目标概率密度中进行采样。该方法在扩散轨迹上进行轻量在线训练来估计样本属于非期望条件的概率,并利用序贯蒙特卡罗(Sequential Monte Carlo)修正漂移偏差,在粒子极限下达到渐近精确。实验表明,该方法在高斯混合模型及预训练图像生成场景中均优于现有方法。
研究人员提出退火莱维扩散模型 ALD,通过动态调整稳定性指数 $\alpha(t)$,将重尾探索能力与高斯精细化采样相结合。该方法将稳定噪声表示为标量高斯尺度混合,仅需增加一个尺度输入即可复用标准高斯噪声预测训练,并提供 ALD-renoise 与 ALD-posterior 两种采样流程。
研究人员提出将输入损失曲率(即训练损失 Hessian 矩阵的 Frobenius 范数)作为免采样的有效代理指标,用于量化扩散模型对训练数据的记忆特性。在训练过程中追踪平均输入曲率可识别模型何时开始复现训练数据;同时结合反事实记忆定义证明,留一模型的输入曲率直接控制样本的反事实记忆程度,在损失局部特征与样本生成概率间建立了理论关联。
Apple 研究团队系统探索了三模态掩码扩散模型(MDM)的设计空间,在文本、图像-文本与音频-文本数据上完成了从头预训练。研究提出了基于随机微分方程(SDE)的重参数化方法以解耦物理与逻辑批大小,并在 3B 规模与 6.4T tokens 训练下展示了文本生成、T2I 和 T2S 任务的统一生成表现。
演员 Mia Goth 的代表公开指责 Instagram 允许一张由 AI 生成的 Goth 虚假照片广泛传播,并批评其蓝标认证和监管机制。该图片由带有蓝标认证且拥有超百万粉丝的账号发布,因展示戏谑离婚的标语 T 恤而被多家娱乐媒体误当真报道。Goth 团队多次投诉后该账号已被清除,事件凸显了 Meta 付费蓝标制度以及对静态 AI 图片不强制打标政策所带来的虚假信息风险。
Nvidia DLSS 5 调整了此前被指过于夸张的面部生成效果,将于 11 月 5 日在《霍格沃茨之遗》正式上线,并于 10 月 16 日率先在 NBA 2K27 实装新模型。
研究人员提出扩散模型强化学习方法 DiffusionART,无需可微奖励模型和 EMA 调优即可实现高效稳定训练,并已开源代码。在 HunyuanVideo-13B 任务中,该方法达到同类方案后期平均奖励水平所需的 GPU 工时比 DiffusionNFT 和 Flow-GRPO-Fast 分别减少 12.02 倍与 11.72 倍,平均训练奖励分别提升 28.8% 和 53.0%。
研究人员提出免训练扩散模型加速方法 CacheScope,通过在线识别高风险特征复用步骤并回退至完整计算,实现最高 3.57x 加速。该方法无需额外训练、梯度或辅助网络,利用输入位移归一化探针信号来准确评估缓存风险。在 FLUX.1-dev、Wan2.1-T2V-1.3B 与 Open-Sora 1.2 上,其中位数 LPIPS 较最强探针基线降低最高达 70.1%。