跳到正文

#推理

今日 1 条
10月8日周四
  1. arXiv cs.LG41

    KVFetch:面向 KV cache 压缩缺失维度的时序预取框架

    免训练即插即用框架 KVFetch 正式提出,通过引入时序预取补全 KV cache 压缩在顺序遍历上的不足,解决长文本逐字拷贝中断问题。它将驱逐的候选 token 降级至量化冷层并预取位置后继,不增加注意力计算开销。在 RULER-16K 评测中,KVFetch 将逐字拷贝分数从 0.8 恢复至 78.4,13 项任务平均分提升 +8.4。

  2. 科学网81

    OpenAI 在 GitHub 发布 700 余篇 AI 生成的数学预印本论文

    10月6日,OpenAI 在 GitHub 一次性公开了完全由 AI 生成的 700 余篇数学预印本论文,覆盖抽象代数、量子算法与微分几何等领域。论文涉及霍奇猜想和黎曼假设等千禧年难题的相关方向,宣称攻克了部分百年历史难题,但未包含千禧年难题的完整解答。

    推荐理由:AI生成的大规模数学论文未经人类逐一核验即公开,展示了AI介入前沿基础科研对传统学术研究节奏带来的冲击。

  3. arXiv stat.ML33

    推理时对齐的高效 Best-of-N 策略评估

    一项新研究提出了面向推理时对齐的 sample-only 评估框架,无需访问模型响应似然即可评估与选择 Best-of-N(BoN)策略。该方法构建了双重稳健估计器 BoN-DR 以复用共享样本池,并设计最大化估计价值和置信下界两种规则来抑制奖励过度优化。在合成实验和 GSM8K 评测中,该框架能准确估计策略价值并筛选出有效的采样预算。

  4. arXiv stat.ML36

    基于弃权认证:小校准预算下 CoT 验证器的无分布保证

    针对 7 个开源模型与 3.7 万条链式推理(CoT)轨迹的研究发现,小校准预算下的无分布验证器存在“通过弃权实现有效性”的漏洞,标准证书虽整体失效概率低于 0.3%,但在实际触发时错误率高达 69%。研究提出的下限启动固定序列证书无需单调性假设,在非平凡目标 $0.75\pi_0$ 下将覆盖率从 0.05 提升至 0.16,性能全面超越 Bonferroni 证书。

  5. Nature78

    OpenAI 在线发布 700 多篇数学预印本引发数学界强烈争议

    OpenAI 在 GitHub 上集中发布了 700 多篇完全由 AI 生成的数学预印本,在科研界引发关于成果抢先发表与内容泛滥的激烈讨论。该批论文涉及霍奇猜想与黎曼猜想等相关问题,但未包含千禧年大奖难题中剩余 5 道题的解法。OpenAI 表示其目标是通过前沿科学难题评估模型并为科研人员提供工具,论文的具体学术价值将交由学界自行评估。

    推荐理由:报道梳理了学界对批量生成论文的争议与评价,有助于读者理解前沿模型对传统学术成果界定机制的冲击。

  6. arXiv cs.AI38

    重新思考自动驾驶物理智能的扎根性:GroundAct 探索扎根规划

    研究人员提出自动驾驶扎根规划方法 GroundAct,通过将物理实体作为扎根单元并引入轻量级参考 token,建立从模型推理到规划动作的直接修正路径。该方法在符号推理中保持被选实体的连续状态可寻址,仅依据被引用实体的交互来纠正规划。评测表明,GroundAct 在常规、分布外和安全攸关场景的开环规划及仿真闭环测试中均表现优异。

  7. arXiv cs.AI41

    PsyCIDRA:用于精神科访谈与诊断推理的双智能体框架

    研究者提出双智能体框架 PsyCIDRA,将自由形式精神科访谈与诊断推理结合,访谈智能体通过工具维护笔记、加载专家技能并检索 ICD-11 参考以引导问诊。在 81 个保留模拟病例中,该框架 rank-1 准确率达 60.5%,高于直接提示的 51.9%。在 101 名人类受试者的盲法研究中,其与心理学家的诊断假设提出一致率达 79.6%(直接提示为 65.4%)。

  8. arXiv cs.AI43

    COMPASS:寻找大语言模型中的推理所在

    研究人员提出推理期引导方法 COMPASS,利用模型自身直接回答的正确性信号提取潜在方向,并干预关键注意力头以激发大语言模型的推理能力。在 3 个模型族和多个数学基准上,COMPASS 将 GSM8K 准确率平均提升 16 个百分点,生成 token 减少 20-70% 且准确率接近 CoT。该干预方法无需重新拟合即可直接迁移至未见基准。

  9. arXiv cs.AI47

    评估 LLM 路由的升级信号:目标、对照与五种自欺陷阱

    研究针对从小语言模型路由至大模型的决策提出了一套升级信号评估框架。在 GSM8K 测试中,针对规模相差约 12 倍的大小模型对,语义熵区分小模型错误的 AUROC 达到 0.871,在同等成本下比随机升级提升最多 9 个百分点的路由准确率。研究同时指出,仅凭问题难度规则就可能产生相似假象,且实时采样成本甚至可能超过直接调用大模型。

  10. arXiv cs.AI37

    轨迹检索投机解码:模型自身历史何时能提供帮助?

    研究针对长思维链推理提出轨迹局部自适应检索方法(TLAR),通过检索自身生成轨迹中的历史内容来辅助投机解码。TLAR 从当前轨迹提取近似匹配片段,结合近期验证结果自适应调节检索与候选宽度,并通过严格验证保持目标模型输出分布不变。在代码调试、数学和开放写作测试中,结合 TLAR 显著提升了 token 接受率与端到端吞吐量。

  11. arXiv cs.AI34

    RGPO:基于自适应依据脚手架引导大模型推理的策略优化框架

    研究人员提出理由引导策略优化(RGPO)框架,通过自适应利用真实依据作为临时脚手架,缓解大语言模型在同策略强化学习中的奖励稀疏问题。RGPO 依据模型当前能力动态辅助生成,并将更高奖励的解回传至无引导环境,无需辅助数据与强化学习任务格式严格一致。在纯文本与视觉语言推理任务中,RGPO 均持续优于 RLVR 基线。

  12. arXiv cs.AI33

    面向神经符号 AI 的规则语言综述

    一项最新研究系统梳理了神经符号 AI 系统中的规则语言,从语义、表达能力、神经集成和评估机制四个维度对比了 Datalog、答案集及概率逻辑程序。论文分析了涵盖数据库与编程语言、机器学习、视觉及机器人领域的 50 多个最新系统与应用,提供了连接应用场景与所需特性的决策矩阵,并指出了当前开放性问题。

  13. arXiv cs.AI43

    理解与缓解智能体记忆在推理阶段的过度依赖

    针对 LLM 智能体复用经验时出现的记忆过度依赖问题,研究提出即插即用框架 MEMTRIM。研究表明查询与记忆部分重叠时推理失效最严重,MEMTRIM 在写入时索引证据并在读取时控制复用,无需重新训练即可剔除重复或冲突证据。该框架适用于嵌入向量与结构化记忆,在多种模型和设置下均能减少过度依赖并保留有用记忆。

  14. arXiv cs.AI42

    面向物理有效生物分子扩散模型的推理时投影方法

    研究人员提出一种针对生物分子扩散模型的推理时投影方法,通过链间范德华与配体距离几何两个闭式投影算子,直接解决原子冲突和几何失真问题。该方法无需网络评估、梯度计算或重新训练,可直接嵌入任意 AlphaFold 3 类采样器。在 Boltz-2 和 OpenFold-3 上经 5 个基准测试验证,能以极低开销恢复完全物理有效性并保持结构预测精度。

  15. arXiv cs.AI34

    视觉语言模型何时重新思考:学习多视角自我验证

    研究人员提出面向视觉语言模型的多视角自我验证框架 MOTIVE,以提升多模态推理的回答可靠性。该框架从互补视角评估候选答案并计算可靠性评分,在推理阶段自主决定直接接受答案或触发重新思考。实验表明,MOTIVE 在多个基准上超越了现有的自我验证与自我纠错基线,同时减少了不必要的推理轮次。

  16. arXiv cs.AI47

    EPOCH:基于证据治理搜索实现可靠发现

    EPOCH 是一种证据治理搜索架构,通过任务契约、主动证伪与独立重放等机制,提高 AI 科研智能体在数学和计算领域探索的可靠性。该架构在 AlgoTune 上以 0.65 的平均归一化得分刷新 SOTA(高于最强基线的 0.53),并在 Math14 取得最高平均分 0.57。它在 10 项发现任务中均取得进展,可产出优化算法、反例及带证明支持的结果。

  17. arXiv cs.AI37

    FluidPD:面向 SLO 感知的大语言模型 Prefill-Decode 分离推理原位弹性系统

    FluidPD 是面向大语言模型 Prefill-Decode 分离推理的原位弹性系统,解决负载动态失衡导致的 SLO 违规。系统通过 FluidToken 将部分预填充计算卸载至解码节点应对瞬时失衡,并利用 FluidRole 原位切换节点角色应对持续失衡,无需重载模型。在 Azure 生产负载测试中,FluidPD 相比静态 SGLang 将整体 SLO 达成率最高提升 94.6 个百分点。

10月7日周三
  1. The Decoder78

    OpenAI 在 GitHub 发布 372 个 AI 生成的数学证明

    OpenAI 在 GitHub 仓库公开了由内部前沿模型生成的 372 项数学成果与证明,涵盖计算机算法改进及黎曼猜想相关进展。几乎所有成果均来自单个 Agent 单次提示词且平均耗费约 3 小时 ChatGPT Pro 思考算力,并附带 Lean 机器验证代码以缓解人工审稿压力。绕过传统学术期刊的做法引发数学界分歧,多位菲尔兹奖得主警告单纯机器证明可能破坏概念理解的培养。

    推荐理由:材料呈现了前沿推理模型绕过传统学术期刊直接发布形式化证明的案例,有助于理解 AI 生产力对科研评审体系带来的制度冲击。

  2. 量子位43

    AI 为何集体不说人话:Coding 过拟合与 CoT 压缩背后的原因

    当前以 Claude、GPT 为代表的大语言模型被指在编程等场景中表达严重退化、充斥生硬黑话,引发开发者广泛吐槽。这主要是由于代码过拟合,以及模型厂商为减少算力消耗将 CoT 思维链调成极简风格,使 token 消耗量比白话文减少整整 70%。目前最新 Opus 5.5 的黑话现象已显著减少,而 Gemini 亦被用户评价仍保持了较好的视觉排版与沟通体验。

  3. arXiv cs.LG34

    面向图鞍点问题的神经算法推理框架 GraphPDHG

    研究人员提出基于 Chambolle-Pock 原始-对偶混合梯度(PDHG)算法的消息传递框架 GraphPDHG,用于求解通用图鞍点问题。理论证明该框架能有效模拟并学习加速 PDHG 算法,并在实验中成功作为二阶优化技术 SSNAL 的热启动。此外,与 PDHG 对齐的设计使其相比未对齐的 GNN 基线具备更强的尺寸泛化能力。

  4. arXiv cs.LG34

    BiToK-SD:面向大语言模型自蒸馏的双层 Top-K Token 选择方法

    研究人员提出面向大语言模型 on-policy 自蒸馏的 BiToK-SD 方法,通过双层优化自适应学习在哪些 token 位置执行蒸馏。该方法在底层将 Top-K token 选择建模为可微阈值松弛,在上层对选定位置实施知识蒸馏,使选择位置能够随学生策略自适应调整。在数学推理基准测试中,BiToK-SD 仅需轻量额外计算便在所有对比方法中取得最佳平均表现。

  5. arXiv cs.LG42

    最小见证强化学习(MWRL)

    研究人员提出最小见证强化学习(MWRL),旨在从黑盒验证器反馈中找出产生结果的所有不可约充分条件(最小见证族)。MWRL 基于群体覆盖损失进行信用分配,推导出价值迭代规划器以及可扩展至大语言模型的策略梯度方法。实验表明 MWRL 能恢复绝大多数最小见证,相关代码已开源。

  6. arXiv cs.LG43

    SchemaFill:通过槽位并行投机解码实现高效 LLM 工具调用

    研究人员提出 SchemaFill 框架,通过槽位并行投机解码加速大语言模型工具调用的结构化生成。该框架并发生成跨多个字段和调用的未来槽位候选值,并由目标模型进行前缀验证与纠错,仅提交通过验证的 token。在 Glaive 和 BFCL 基准评测中,SchemaFill 相比自回归解码实现了最高 4.05x 的端到端吞吐量提升,代码已开源。

  7. arXiv cs.LG45

    macro2mind:从宏观社会信号学习模拟个体

    研究提出 macro2mind,利用预测市场宏观价格信号通过 GRPO 训练大语言模型,使其掌握个体行为推理与模拟能力。该模型在 SWM-Bench 上取得 SOTA 表现,并能零样本迁移至 Humanual、OvertonBench 等四个用户模拟基准。作为数据生成器,它将下游模拟器在未见用户上的准确率提升 15.5 个百分点。

  8. arXiv cs.LG35

    DART-ES:面向进化策略大语言模型微调的难度感知重加权与针对性回放

    DART-ES 通过动态感知问题难度进行重加权与样本回放,实现了无需反向传播的大语言模型全参数进化策略微调。在 GSM8K 上,它将平均准确率提升至 73.53%,超越 GRPO 的 73.26%,并成功扩展至 14B 模型。相比 GRPO,其单步运行时间减少 15.2%–50.2%,单 GPU 峰值显存降低 21.1%–51.1%,显存与耗时均低于 GRPO+LoRA。

  9. arXiv cs.LG35

    知识图谱表征学习中的不确定性研究

    一项博士论文研究系统分析了知识图谱嵌入(KGE)中的知识、算法与预测三类不确定性,以解决其预测缺乏可靠性保证的问题。研究提出了基于投票的聚合框架以缓解训练不稳定性,结合保形预测构建具备无分布覆盖保障的答案集,并为带置信度三元组开发了统计有效的预测区间。这些模型无关的方法为 KGE 提供了理论与实用兼备的不确定性量化方案。

  10. arXiv cs.LG43

    学会决策而非推理:基于低秩激活导向的参数高效决策算子

    研究提出一种基于低秩激活导向的 System-1 决策算子,通过行为克隆训练将语言模型技能注入成本降低约两个数量级。默认算子仅用 330K 参数即可匹敌 1.33M 参数的强化学习算子,将 3,685-token 思考过程压缩为 6-token 决策且无精度损失。该方案适配 5 项任务与 3 个基座模型,技能可在推理时进行相加、插值与热插拔。

  11. arXiv cs.LG37

    外部引导何时助力大语言模型推理?GA-GRPO 的偏差-方差理论

    研究提出 GA-GRPO 理论框架,从偏差-方差角度量化外部引导在大语言模型推理中的影响,并推导出闭式最优引导权重。该框架将 GRPO、LUFFY、ExPO 等统摄为特例,证明其收敛速率为 O(1/sqrt(T))。在 Qwen2.5-Math-7B-Base 上的 9 项基准测试显示,GA-GRPO 表现持平或超越 TAPO 等方法,同时节省 31% 的 GPU 时长。

  12. arXiv stat.ML34

    分层推理奖励的强化学习:基于 Transformer 的极小化极大最优速率

    新研究证明基于 Transformer 的 actor-critic 强化学习算法在分层推理奖励下,能在查询预算与正则化强度上达到极小化极大最优速率。该算法交替进行 KL 正则化策略采样、Transformer critic 拟合及策略更新,并在固定 prompt 数量下实现极小化极大最优。对比显示离线采样会使 regret 衰减受限于对数速率,这从理论上量化了 on-policy 探索的优势。

  13. arXiv stat.ML34

    Spectra:用于模拟推断测试时先验自适应的精确分量输运方法

    研究人员提出用于扩散模型模拟推断(SBI)的测试时自适应方法 Spectra,无需额外模拟或训练即可应对先验分布变化。该方法利用精确分数输运恒等式,直接从冻结的扩散模型中以闭式解导出自适应分数。在 6 个 SBI 基准测试中,Spectra 在强先验偏移下以低在线采样成本实现了准确自适应。

  14. 量子位78

    OpenAI 公开内部模型生成的 722 篇数学研究手稿及 Lean 证明

    OpenAI 公开了一个未发布内部模型产出的 722 篇数学手稿,涵盖 372 组研究结果,并将论文、源码与部分 Lean 证明上传至 GitHub 仓库。研究课题涉及准黎曼猜想、霍奇猜想、BSD 猜想等多个数学方向,官方称平均每项结果消耗的算力约相当于 ChatGPT Pro 思考 3 小时。

    推荐理由:原文梳理了手稿涉及的重大数学猜想与算力消耗,有助于了解大语言模型在理论数学前沿的探索进展与核验挑战。