COFFEE:基于编译目标的离散扩散模型前瞻感知引导
研究人员提出即插即用框架 COFFEE,通过解耦序列依赖与目标,解决了离散扩散模型在序列级目标引导下计算量呈指数级增长的问题。该框架无需重新训练扩散模型,结合编译的有限状态模型将全局偏好传递至未解析的 token 位置,同时支持显式硬约束与软目标引导。实验表明,COFFEE 在符号、语言和生物等多个基准上均实现了强控制效果。
研究人员提出即插即用框架 COFFEE,通过解耦序列依赖与目标,解决了离散扩散模型在序列级目标引导下计算量呈指数级增长的问题。该框架无需重新训练扩散模型,结合编译的有限状态模型将全局偏好传递至未解析的 token 位置,同时支持显式硬约束与软目标引导。实验表明,COFFEE 在符号、语言和生物等多个基准上均实现了强控制效果。
针对掩码生成模型的并行采样依赖问题,研究提出一种基于隐式森林结构的反事实探测采样器,无需完全恢复依赖网络即可跨依赖测试共享评估并识别安全并行批次。在近似条件 oracle 下,该算法在保证平均全变差误差不大于 $\varepsilon\in (0,1/8]$ 的同时,使总掩码状态评估数与串行深度均降至亚线性上界 $O(N^C \varepsilon^a)$($0 < C < 1, a < 0$)。
研究团队提出 RLTL;DR 方法,让模型在任务失败后根据验证器反馈自生成精炼洞见并反向传播内化,解决了无成功范式下的自我强化学习冷启动问题。在 Pass@128 为 0 的高难度工具调用与编码测试中,该方法使 Qwen 3.5 9B Thinking 在评估阶段无上下文洞见时的 Pass@1 提升至 12%-13%,而标准 GRPO 仅为 0%-1%。
FluxLite 是一种面向离散扩散模型的轻量免训练推理期提议控制框架,解决了 Feynman-Kac SMC 采样的权重退化问题。该框架实现了单跳局部重分配 HEU 与非负二次规划 D-VCG 两种采样器,将重加权方差转化为局部凸优化目标。实验显示其在 CTMC 基准上终端 KL 较基线提升达两个数量级,在 2D Ising 采样中使行相关 MSE 降低 5-7x(峰值达 55x)。
研究提出针对时间序列基础模型(TSFM)的隐空间推理时引导方法(Latent Inference-Time Guidance),通过包含独立分量的时间相关隐空间自适应融合多个 TSFM 预测。该框架在维持基础模型开箱即用特性的同时,提供了可辨识性与重构保证。在多领域及不同采样频率数据集上的实验表明,该方案性能可与传统集成方法竞争。
OpenAI 阻断了一起旨在提取其受保护模型推理能力的协同蒸馏行动。官方表示正在进一步强化防御体系,以抵御此类对抗性模型蒸馏攻击。
一项针对 11 个厂商族系的 23 个小语言模型的研究表明,多智能体辩论带来的性能增益本质上是集成采样效应,认知多样性假说在角色提示、采样温度与多模型组合三个维度均未成立。在匹配生成预算的实验中,辩论效果持平甚至弱于自洽性多数投票,耗时达到后者的 1.6 倍且消耗 3.4 倍 token。研究还发现角色提示会降低准确率,且辩论绝大部分收益仅来自第一轮答案交换。
研究人员提出一种边缘设备神经符号路由器,将结构化任务派发给确定性符号引擎,仅把开放式问题保留给小语言模型。在 Raspberry Pi 4B 上,该方案在 512-token 预算下取得 100% 路由准确率与 98.3% 整体准确率,远超 Program-of-Thought 基线的 72.0%。其格式化查询响应仅需 1-11 ms,运行速度较基线快 8.8x 且能效提升 2.8x。
研究者提出智能体框架 Sage,通过四阶段生成与双信号语义校正循环,解决自然语言翻译为 Lean 4 的语义失真问题。Sage 将答案泄露率从 70.9% 降至 2.7%,在 Omni-MATH 上取得 73.3% 的 pass@4 联合保真度,远超基线 Goedel-Formalizer-V2 的 42.0%。
一项针对自动生成 LLM harness 的受控研究发现,生成程序的可重复得分模式主要体现为持久缺陷,难以证明其具备真正的任务专业化优势。在 386 个 MATH-500 任务中,生成程序相比基线在 100 个任务上持续落后,仅在 1 个任务上持续胜出。在 27 次 harness 执行下两组 oracle 覆盖率均达到 98.70%,冻结选择器增益仅为 0.00 个百分点。
研究者提出 GapFT 微调方法,利用单次采样失败但在 K 次采样内成功的样本训练大语言模型,将搜索能力内化至单次解码。在 LogiQA 2.0 和 ReClor 上,Llama-3.1-8B 的 Pass@1 较原模型分别提升 14.4 和 13.9 分,仅用三分之一数据即追平全量验证微调并达到 Pass@4 精度。该增益在 Qwen2.5-7B 上同样得到验证。
GPT-6.1 Sol 现已在 Amazon Bedrock 正式全面可用,为智能体代码编写、计算机使用及日常企业工作流提供更强的推理能力。根据 OpenAI 的评测数据,GPT-6.1 Sol 在 DeepSWE v1.1 上的表现匹敌 GPT-6 Astra,单任务成本约为后者的五分之一,得分比 GPT-6 Sol 高出 6.4 个百分点且使用了更低的推理开销。
推荐理由:原文给出了 GPT-6.1 Sol 相比 GPT-6 Astra 与 GPT-6 Sol 的评测变化及成本比例,有助于读者评估该模型在复杂智能体场景下的落地性价比。
一项针对 16 个大语言模型树状表达式序列化的研究表明,模型间自然语言通信具有损耗与不对称性,互换生成和提取角色准确率差异最高达 60.4 个百分点。实验发现至少 73.6% 的往返失败源于生成端,而跨模型组合的最佳准确率达 92.9%。该通道具备可训练性,约 3600 个微调样本即可让开源模型超越未微调的 Gemini-3.1-Pro。
xAI 旗下的大模型 Grok 4.7 正式上线 Amazon Bedrock,提供 500K context window 并支持四档可配置推理力度。该模型接入跨区域推理配置文件,同时兼容 OpenAI SDK 与 AWS Converse API,并支持隐式提示词缓存、Bedrock Guardrails 护栏和结构化输出。
NVIDIA 公布 MLPerf Inference v6.1 评测结果,其新系统 Vera Rubin NVL72 在 Qwen3-VL 上的吞吐量达到 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上吞吐量提升达 2.5 倍。
NVIDIA CEO 黄仁勋在 Salesforce Dreamforce 大会上发表演讲,指出 AI 已成为全球基础设施并将推动所有企业转型为智能体企业,同时 Salesforce 正式宣布推出基于 NVIDIA Nemotron 3 Super 的首个 CRM 推理模型 Koa。
Google DeepMind 推出 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两款实时语音对话模型,主打近实时推理与语音智能体任务执行。
推荐理由:官方给出了两款实时对话模型在语音基准上的评测成绩与并行推理机制,有助于评估实时语音智能体的工程落地成本。
NVIDIA 在 AI Infra Summit 上公布了 Vera Rubin 系统与 DSX 平台的能效优化成果,将基础设施核心指标转向每兆瓦产出的智能体 token 量。
OpenAI 发布面向企业场景的模型 GPT-6 Astra,定位为其在商业领域能力最强的模型。该模型具备进阶推理能力与计算机使用(computer use)能力,并提升了写作与设计判断表现。
推荐理由:原文明确了该模型面向企业场景并具备计算机使用能力,读者可据此了解其在复杂业务协作与工作流程中的能力定位。
OpenAI 宣布分享一份由 AI 生成的纳维-斯托克斯千禧年大奖难题解法。该成果同时包含完整的书面说明文档,以及在 Lean 中实现的形式化数学证明。
推荐理由:OpenAI 公开了包含 Lean 形式化证明的解法,读者可以据此检验 AI 处理重大数学难题时的完整推理路径与验证方式。
Google DeepMind 正式推出 Gemini 3.8 Flash 及其网络安全专用变体 Gemini 3.8 Flash Cyber。
推荐理由:该版本在保持低调用成本的同时强化了多步推理与长程编码能力,读者可据此评估其在自动化软件工程与企业安全防护中的落地价值。
Google DeepMind 正式推出 Gemini 3.7 Flash,主打编程与智能体任务,首发调用价格较 3.6 Flash 降至每 100 万输入 token 0.75 美元、输出 3.75 美元。
推荐理由:该版本在编程与复杂工作流基准上大幅超过前代,并将调用价格降低一半,有助于开发者低成本扩展智能体应用。
微软研究院推出全新评测基准 MindTopo,用于评估视觉语言模型在连通性、包围、顺序、分离和绳结五个维度的拓扑空间推理与规划能力。评测结果显示,受测闭源与开源模型在静态推理上的表现普遍显著优于交互规划,且两者均远低于人类水平。模型失误主要出现在行动规划阶段,难以在多步动作序列中持续追踪拓扑结构演变或遵守物理约束。
Together AI 联合月之暗面推出 2.8T 参数开源模型 Kimi K3 的接入支持并发布完整开发指南,该模型原生支持 1M 上下文窗口与多模态视觉输入。
推荐理由:文章系统梳理了该开源模型的底层架构与接口参数,开发者可据此掌握长上下文缓存与动态工具调用的工程实现。
Together AI 为专用模型推理平台推出基于推理原生指标的自动扩缩容功能,允许用户根据 inflight_requests、TTFT 和 GPU 利用率等动态调整副本数量。
Together AI 宣布与月之暗面(Moonshot AI)达成战略合作,成为其开源模型发布平台并原生提供 Kimi 系列模型的托管推理与后训练支持。平台首发接入 2.8T 参数的稀疏 MoE 模型 Kimi K3,支持 Serverless、预留吞吐量和独立实例三种部署形态,并提供零数据保留保障与 99% 可用性 SLA。
推荐理由:该合作让开发者能在合规的云端基础设施上即时调用月之暗面的大参数开源模型,并直接衔接微调训练与生产级推理服务。
Together AI 宣布与 Y Combinator 合作推出面向 YC 初创团队的专属 GPU 集群,解决 AI 原生创业公司面临的算力获取瓶颈与资金压力。入选企业无需签订长期高额合同,即可通过 Together AI 自助门户在数分钟内弹性调配 GPU 用于推理与训练,并享受长期协议级别的优惠费率。该集群目前已处于全负荷运行状态,双方后续计划进一步扩大算力规模以支持企业持续扩张。
Together AI 拆解了 AI 推理可用性背后的架构要求:99% 需应对单节点故障并快速重新调度,99.9% 需双机房持续分流并各自具备全量承载能力以抵御单数据中心瘫痪。达到 99.99% 则需要多区域冗余与真实闲置的预留容量,并依赖拥有底层基础设施控制权及“从芯片到 token”的全栈可观测性。
Thinking Machines Lab 发布多模态 MoE 模型 Inkling,Together AI 同步在 Serverless 平台提供其推理服务。
推荐理由:新模型通过结合原生多模态输入与可调推理强度,让开发者能在统一接口下根据具体任务平衡延迟与算力开销。
Together AI 汇总了入选 ICML 2026 的 9 篇全栈研究,覆盖从智能体到 GPU 内核的 5 个技术层级。成果包括覆盖 1,000+ 任务的 DSGym、吞吐量提升达 3.6x 的 ThunderAgent,以及基于开源 120B 模型突破纪录的 TTT-Discover。此外,自适应投机解码 Aurora 等成果已直接作为 ATLAS 解码器集成至生产平台。
Together AI 作为首选云合作伙伴,详解了为 MiniMax-M3 模型构建生产级高效推理系统的工程实践。团队针对 MiniMax 稀疏注意力重构了算子并整合进 PagedAttention,使预填充阶段加速超 9 倍、解码加速超 15 倍;同时借助 Rust 模型网关在 CPU 端预处理音视频,在典型智能体场景下将推理性能提升了 81% 至 125%。
推荐理由:文章拆解了稀疏注意力的算子重排与网关层多模态预处理方案,对长上下文大模型的生产级部署具有直接的工程参考价值。
Together AI 推出面向高并发、长上下文编程智能体场景的推理基准测试,并在 Kimi K2.5 上对比了其推理引擎与 TensorRT-LLM 及 SGLang 的性能。
Together AI 宣布与 Pearl Research Labs 达成独家合作,推出价格优惠超过 25% 的 Gemma-4-31B-it-pearl 模型推理端点。该服务依托 Pearl 网络的有用工作量证明机制,在训练与推理的前向及反向传播矩阵乘法中生成 ¶PRL 加密货币来抵消算力开销。Together AI 计划未来将该机制扩展至更多产品组合,并允许客户直接获取部分代币收益。
Google DeepMind 在《Nature》发表最新研究,推出基于 Gemini 的多智能体 AI 系统 Co-Scientist,用于在生命科学等领域自主生成、辩论和演化科学假设。
推荐理由:该研究展示了多智能体辩论与演化机制在科研假设生成中的可行性,为大模型辅助复杂前沿科学发现提供了落地架构。
Together AI 结合在 NVIDIA HGX B200 上的早期部署实测指出,DeepSeek-V4 的 1M token 上下文核心在于通过 token 轴压缩解决推理系统压力。
推荐理由:文章从底层缓存管理拆解了 DeepSeek-V4 的混合注意力设计,为大模型长上下文推理系统的工程落地提供了具体的调优参考。
BAIR 发文综述自适应并行推理(APR)范式,探讨大语言模型如何自主决定子任务拆解、并发分支数量与协同控制,以解决串行长链推理导致的端到端延迟与上下文退化问题。
Together AI 分享了其支撑大规模高效推理的技术栈与研究成果。团队研发了 FlashAttention-4、ThunderKittens 以及开源自适应投机解码系统 Aurora,后者可带来最高 1.25x 的大语言模型推理加速,同时支持标准投机解码的 ATLAS 系统。
Together AI 宣布在其云平台上线 DeepSeek-V4 Pro,无服务器推理支持 512K tokens 上下文,专属基础设施支持完整 1M 上下文。
推荐理由:原文给出了超大参数混合专家模型的上下文分级部署与缓存计费细节,为长上下文长链条任务提供了工程选型参考。
分布感知投机解码(DAS)框架针对强化学习后训练的长尾瓶颈,在不改变模型输出的前提下将 rollout 阶段最高提速 50%。系统结合免训练的自适应后缀树草稿器与长度感知调度,利用历史轨迹动态分配投机预算并平衡多 GPU 负载。DAS 在 DeepSeek-R1-Distill-Qwen-7B 和 Qwen3-8B 评估中,分别减少超 50% 和约 25% 的 rollout 时间。
Google DeepMind 推出具身推理模型 Gemini Robotics-ER 1.6,大幅增强了空间定位、多视角理解与任务成功检测能力。该模型可原生调用搜索和 VLA 等工具,并新增结合代码执行的智能体视觉以高精度读取各类工业仪表。目前该模型已通过 Gemini API 和 Google AI Studio 向开发者开放。
推荐理由:新模型结合视觉推理与代码执行实现了工业仪表读取,为机器人多视角任务规划和成功判定提供了实用参考。