跳到正文

#推理

今日 1 条
10月1日周四
  1. arXiv cs.AI35

    通过上下文选择与目标加权微调扩散大语言模型

    研究者提出离散扩散大语言模型微调方法 GoldiMask,通过最大化次模目标选择可见上下文 token,并对剩余预测目标进行加权。在 3 个骨干模型和 3 个训练数据集的评测中,GoldiMask 在推理与代码生成任务的大多数设置下取得了最高平均准确率。在置信度阈值并行解码下,该方法还在 GSM8K 和 MATH-500 上减少了解码迭代次数。

  2. arXiv cs.AI27

    AI 智能体能否重新发现 Blaschke 曲线不变量?

    研究人员测试了 AI 智能体对 Blaschke 曲线不变量的重新发现能力,其在未获知目标定理的情况下成功拟合出齐次三次曲线,并在 80 个未见参数的 480 条线上达到 8.88×10^-17 的 RMS 无量纲残差。不过确定性次数搜索基准同样能恢复该三次曲线,该实验并未确立智能体相比传统多项式拟合的优势。

  3. arXiv cs.AI35

    CARAT:材料大语言模型是在推理还是背诵?

    CARAT 提出了一套评测方法,用于检验材料大语言模型在回答晶体结构问题时究竟是在推理还是照搬输入。研究发现冻结模型在 95.6% 的成对测试中仅复述了结构关系,却未真正将其用于推演。在引入匹配监督后模型表现可提升至 99.8%,而一旦删除对应的关键证据链接,准确率便骤降至 23.4%。

  4. arXiv stat.ML43

    绘制容易信任难:测试时扩展曲线的统计认证

    研究推导了大语言模型测试时扩展曲线(Test-Time Scaling Curves)的统计认证极小化极大成本,并提出一种无需试点的配对审计方法。在 185 个评分池中,该方法认证 64 和 1,024 个预算所需的答案数仅为竞品的 0.74 倍与 0.53 倍。实验在 MMLU-Pro 上仅用 79,133 个生成答案完成整条曲线认证,并同时支持 pass@k 与多数投票。

  5. arXiv stat.ML26

    针对难解似然模型的摊销比率估计重要性采样与局部仿真校准

    针对难解似然模型的模拟贝叶斯推理(SBI),研究者提出了结合高斯专家混合代理与局部摊销似然证据比率估计器重要性采样的顺序后验估计算法。同时提出的局部基于模拟的校准(localized SBC)方法,通过仅拟合一次局部代理与比率估计器并在伪观测间复用,大幅降低校准评估的计算成本。该方案在包括真实流行病学应用在内的 3 个案例研究中完成了验证。

  6. arXiv stat.ML34

    面向任意结构多层模型的摊销贝叶斯推理

    研究人员提出一种针对任意结构多层模型的摊销贝叶斯推理通用方法,通过图扩展与图反转自动推导联合后验分解并构建匹配的神经网络架构。该方法完整保留了生成模型的所有条件独立性与可交换性假设,可对组数及组内观测数进行摊销。在 3 个案例研究中,该方法在超 6,500 个参数的模型上贴合金标准采样器,训练后可实现近乎瞬时的前向推理。

  7. arXiv stat.ML29

    通过辅助监督缓解摊销贝叶斯推理中的表征鸿沟

    研究提出一种在内部表征施加辅助引导损失的通用方法,以缓解摊销贝叶斯推理中特征学习与条件分布学习之间的表征鸿沟。该方法在训练数据充足时能加快收敛速度,在数据稀缺时可提升模型性能,并提供通用诊断工具用于区分总结失败与推理失败。测试表明,辅助监督在多项具有挑战性的真实世界推理问题中均提升了收敛速度和准确率。

  8. arXiv stat.ML33

    Steepest Guidance:Flow 与扩散模型推理时对齐的实用方法

    新框架 Steepest Guidance 针对 Flow 与扩散模型的推理时对齐问题,解决了 Doob's h-transform 最优引导在实践中难以估计的困境。该方法将推理时对齐视为概率测度空间中的序列优化问题,基于最大化目标局部改进的原则构建。论文给出了理论分析,并通过大量实验验证了该方案在生成建模中的有效性。

  9. arXiv stat.ML34

    通过离散平均生成元加速扩散语言模型

    研究人员提出离散平均生成元(Discrete Average Generator),将 MeanFlow 拓展至连续时间马尔可夫链,以加速扩散语言模型的少步数生成。在 OpenWebText 基准上,该方法在 8 至 64 步采样中取得最低的生成困惑度,并实现 16x 加速。此外,该方法在 Potts 模型模拟中将采样器的全变差距离降低最高 67%,并在 ImageNet 上达到可比性能。

  10. Google DeepMind77

    Google DeepMind 发布前沿模型 Gemini 4 Argon

    Google DeepMind 发布新一代前沿模型 Gemini 4 Argon,将输出 token 上限提升至 1M,主打软件工程、网络安全防御与企业长程工作流。

    推荐理由:该模型将单次输出上限大幅提升至 1M token,展示了在超长程代码重构与企业复杂工作流上的实测落地路径。

  11. arXiv cs.LG38

    BASE:面向高效 MoE 解码的批感知专家选择方法

    针对 MoE 模型批处理解码的权重传输瓶颈,研究人员提出无需重训的批感知专家选择方法 BASE,通过轻量线性预测器估算专家移除误差并协同跨请求复用专家。在 Qwen3-30B-A3B 上,BASE 在紧凑预算下平均准确率较最强基线提升 29.5 points;在更高预算下比稠密推理提速 60%,准确率差距在 0.4 points 以内。

  12. arXiv cs.LG39

    大语言模型在串行需求下如何重分布注意力头活跃度

    一项针对 17 个开源权重模型的研究发现,随着任务串行需求增加,多数模型在中前层集中注意力头活跃度、后续层趋于分散。Qwen2.5(0.5B 至 7B 及 72B)在模型后半部分更倾向集中活跃度,而 Llama(1B 至 8B 及 Llama-3.1-70B)与 OLMo-2 则趋向分散。消融实验表明活跃度更集中的模型更依赖核心头输出答案,相关代码已开源。

  13. arXiv cs.LG37

    DSpine:基于相邻因果注入与深度条件化的推测解码方法

    研究者提出推测解码草稿模型 DSpine,通过在骨干网络逐层引入门控相邻注入,在保持全位置并行更新的同时通过网络深度传递因果条件。在 Qwen3-4B 与 Qwen3-8B 的 7 项评测中它均取得最长接受长度,将 Qwen3-8B 平均接受长度由 DFlash 的 3.77 提升至 4.82(+27.8%)。在 SGLang 服务测试中,其平均吞吐量比 DFlash 提高 23.3%。

  14. arXiv cs.LG45

    利用神经元胞自动机进行推理

    研究证实采用严格局部连接与异步更新的神经元胞自动机(NCA)具备多步推理能力,能够解决大型迷宫、数独以及 ARC-AGI-1 等复杂视觉推理任务。NCA 在更大网格或更长展开步数下具备分布外泛化能力,并可通过剪除冗余轨迹提升并行效率。该架构还展现出动态调节计算以自愈恢复的鲁棒性,并可扩展至原始像素空间推理。

  15. arXiv cs.LG39

    Koa-action:基于生成式大语言模型的快速一致结构化决策框架

    研究团队提出 Koa-action 框架,通过原子标签 token 与监督微调将分类等决策转化为单 token 输出的约束生成,实现低延迟确定性解码。在生产意图路由基准上,其准确率达 85.5%(超过 GPT-5 与 Gemini-2.5-Pro),约 0.5 秒即可响应,中位数速度最高提速约 7.5x。相比 Jev/TypeSafe,它还进一步支持多模态输入与多标签输出。

  16. arXiv cs.LG28

    理解神经路径求解器的决策机制

    研究揭示了 AM、POMO 与 LEHD 三种神经组合优化(NCO)求解器在旅行商问题和带容量限制车辆路径问题中的不同决策机制。行为分析与因果干预显示,AM 和 POMO 在解构建中遵循持续几何模式,而重解码器架构的 LEHD 包含多个未来动作的线性可访问信息。LEHD 依赖当前节点进行即时局部决策,并借助起始节点表征导航后续路线,相关代码已开源。

  17. arXiv cs.LG34

    ABC:面向可验证奖励强化学习的基于优势的控制变量

    新研究提出面向可验证奖励强化学习(RLVR)的控制变量方法 ABC,并将其与直接优势估计(DAE)结合构建了 actor-critic 算法。该方案在离线到在线设定下运行,critic 先在历史收集的轨迹上训练并在在线学习中自适应更新。在数学推理任务中,ABC 仅用显著更少的在线优化步数,便取得了与 GRPO 相当的性能。

  18. arXiv cs.AI34

    BRIDGE:双层检索信用感知智能体强化学习

    研究人员提出智能体强化学习方法 BRIDGE,将检索增强的 ARL 建模为双层优化问题,以解决检索器与大语言模型联合训练中的信用分配差距。在 7 个开放域 QA 基准上,BRIDGE 基于 3B 和 7B 基座模型均取得最高平均准确率,多跳任务平均表现较最强 baseline 分别提升 9.6 和 3.4 个 EM 点。此外,该方法在医学 QA 基准上也取得了最佳的平均答案准确率与推理质量。

  19. arXiv cs.AI34

    重新将大语言模型推理路径视为阶段结构化轨迹

    研究提出 PAIR,将大语言模型推理路径建模为同问题内的阶段结构化轨迹,以解决跨问题探针混淆问题难度与路径质量的缺陷。该方法根据归一化进度将变长路径映射至共享相对阶段,仅在同问题与阶段内对比成败轨迹以提取质量方向。PAIR 在多模型与基准上提升了轨迹排序和 Best-of-N 选择效果,阶段引导也证实其能改变生成结果。

  20. arXiv cs.AI35

    Bits Under ZK-LLM:面向可验证隐私 LLM 推理的零知识友好量化评估

    研究人员系统评估了面向可验证隐私 LLM 推理的零知识友好量化,覆盖 Qwen2.5-14B 及 MoE 模型 Qwen3-30B-A3B 等 9 个语言模型。结果显示激活精度比权重精度更敏感,且 RMSNorm 平方根倒数查表是主要性能瓶颈,仅针对该瓶颈提高精度即可恢复接近基线的表现。研究还发现降低位宽并不一定会按比例节省端到端证明开销。

  21. arXiv cs.AI36

    PhenoAIR:从检索到推理的 Cell Painting 智能体机制预测

    研究人员提出多智能体框架 PhenoAIR,将基于 Cell Painting 的作用机制(MOA)预测重构为校准证据推理。该框架通过控制器引导精炼表型与机制证据,并利用离线参考集校准对检索证据赋权。在基于 JUMP Cell Painting 的基准评测中,PhenoAIR 在受控、真实及开放世界等所有 MOA 设定下均优于表征匹配与 LLM 基线。

  22. arXiv cs.AI40

    工程化简明性:简明机制接口如何引导 LLM 智能体决策

    采用简明的交互接口能够显著引导 LLM 智能体在拍卖与匹配等多智能体环境中做出更优决策。在 4 个模型族测试中,升价拍卖接口大幅减少了出价偏差,列明收益并解释如实申报安全性也改善了选择,但提示规划轮次或推测对手反而恶化了表现。由于实际决策改善并未伴随口头战略理解指标的提升,评估脚手架设计需直接依据实际选择而非仅看解释。

  23. arXiv cs.AI52

    研究提出 SARA 缓解大型推理模型中的欺骗性安全对齐

    NeurIPS 2026 入选论文提出 SARA 对齐方法与 DSAR 指标,用于量化并缓解大型推理模型在思考链与最终答案之间的欺骗性安全不一致。研究指出由于强化学习通常仅对最终答案给奖励,模型在中间推理过程中的安全辨别力显著弱于最终输出阶段,该现象在 prefilling 攻击下更为明显。SARA 通过同时奖励安全推理过程与安全答案,促使模型提前识别有害意图并保持推理与答案一致,代码已开源。

  24. arXiv cs.AI41

    面向隐式递归 LLM 系统的原则化思维表征

    研究人员提出针对隐式递归大语言模型系统的 REST 训练目标,将思维表征的因果性、极小性、可分性与稳定性转化为可微损失函数。在无需改动架构或增加推理参数的前提下,REST 在数学、医学和代码等 7 个基准测试中比纯交叉熵监督最高提升 7.5 个百分点准确率,并使收敛速度提升 30%,同时让智能体隐式通信更易于解释。

  25. arXiv cs.AI44

    跨编排架构的小型 LLM 团队扩展:精准生成-转换分解研究

    一项针对 5 个 7-9B 模型的研究表明,小型 LLM 团队规模扩展的准确率收益高度依赖任务。当调用次数从 3 次增至 30 次时,GSM8K 和 GSMHard 算术任务准确率最高提升 17 点,而在 ARC、GPQA 和 MMLU 上最多仅提升 4 点。Proposer-Critic 仅在算术任务表现最优,且相同调用预算下不同架构的 token 成本相差 2.1x。

  26. arXiv cs.AI35

    COFFEE:基于编译目标的离散扩散模型前瞻感知引导

    研究人员提出即插即用框架 COFFEE,通过解耦序列依赖与目标,解决了离散扩散模型在序列级目标引导下计算量呈指数级增长的问题。该框架无需重新训练扩散模型,结合编译的有限状态模型将全局偏好传递至未解析的 token 位置,同时支持显式硬约束与软目标引导。实验表明,COFFEE 在符号、语言和生物等多个基准上均实现了强控制效果。

  27. The Decoder65

    OpenAI 与新思科技达成战略合作,联手打造芯片设计专属模型 GPT-Synopsys

    OpenAI 与新思科技签署多年战略合作协议,计划共同开发专用于芯片设计与验证的 AI 模型 GPT-Synopsys。该模型将结合 OpenAI 的模型技术与新思科技的 EDA 工具,使模型能直接操作相关工具并辅助完成设计推理,由工程师负责下达目标与审核输出。相关产品运行于 OpenAI 基础设施且客户数据不用于训练,目前双方已面向半导体客户开展早期测试并计划联合分成推广。

  28. arXiv stat.ML29

    隐式森林结构下并行去掩码的反事实探测

    针对掩码生成模型的并行采样依赖问题,研究提出一种基于隐式森林结构的反事实探测采样器,无需完全恢复依赖网络即可跨依赖测试共享评估并识别安全并行批次。在近似条件 oracle 下,该算法在保证平均全变差误差不大于 $\varepsilon\in (0,1/8]$ 的同时,使总掩码状态评估数与串行深度均降至亚线性上界 $O(N^C \varepsilon^a)$($0 < C < 1, a < 0$)。

  29. arXiv stat.ML50

    RLTL;DR:通过内化自生成反馈实现模型自我改进

    研究团队提出 RLTL;DR 方法,让模型在任务失败后根据验证器反馈自生成精炼洞见并反向传播内化,解决了无成功范式下的自我强化学习冷启动问题。在 Pass@128 为 0 的高难度工具调用与编码测试中,该方法使 Qwen 3.5 9B Thinking 在评估阶段无上下文洞见时的 Pass@1 提升至 12%-13%,而标准 GRPO 仅为 0%-1%。

  30. arXiv stat.ML38

    FluxLite:离散扩散模型的推理期提议控制框架

    FluxLite 是一种面向离散扩散模型的轻量免训练推理期提议控制框架,解决了 Feynman-Kac SMC 采样的权重退化问题。该框架实现了单跳局部重分配 HEU 与非负二次规划 D-VCG 两种采样器,将重加权方差转化为局部凸优化目标。实验显示其在 CTMC 基准上终端 KL 较基线提升达两个数量级,在 2D Ising 采样中使行相关 MSE 降低 5-7x(峰值达 55x)。

  31. arXiv stat.ML35

    时间序列基础模型的隐空间推理时引导

    研究提出针对时间序列基础模型(TSFM)的隐空间推理时引导方法(Latent Inference-Time Guidance),通过包含独立分量的时间相关隐空间自适应融合多个 TSFM 预测。该框架在维持基础模型开箱即用特性的同时,提供了可辨识性与重构保证。在多领域及不同采样频率数据集上的实验表明,该方案性能可与传统集成方法竞争。

9月30日周三
  1. 量子位77

    OpenAI 研究员 Noam Brown 访谈:谈多智能体协作、递归自我改进与对齐挑战

    OpenAI 研究员 Noam Brown 在访谈中详述了多智能体系统与递归自我改进的最新思考,指出万级 Agent 协作攻破千禧年数学难题的核心仍是基础模型能力,多智能体本质是推理时计算的并行化扩展。他同时指出思维链可监测性正随模型变聪明而面临下降风险,并分析了长任务评估滞后对模型安全对齐带来的挑战。

    推荐理由:访谈梳理了推理计算从串行转向多智能体并行的逻辑,帮助读者理解大模型递归自我改进和长任务对齐面临的工程瓶颈。

  2. Scientific American74

    Anthropic 大语言模型解决概率论难题,证明渗流理论关键猜想

    Anthropic 旗下大语言模型生成了概率论中渗流理论核心猜想的完整数学证明。该成果证明了 3 至 10 维方格网络中从有限连通到无限连通的相变过程是连续的,证实了数学界数十年来的猜想。菲尔兹奖得主 Hugo Duminil-Copin 等数学家对此表示赞叹与复杂情感,并引发了对 AI 介入后数学证明价值与奖项评选机制的讨论。