跳到正文

#推理

今日 1 条
10月10日周六
  1. Interconnects47

    为何 AI 会迎来工程能力的飞速进展,而非迈向通用超级智能

    AI 模型将在未来几年成为超越人类水平的分布式 GPU 工程师,但这种工程能力的巨大加速并不会让模型产生本质改变或直接迈向通用超级智能。近期的核心进展主要来自当前工具下推理计算的扩展以及训练与推理栈的端到端优化,模型的有效智能成本预计将呈近指数级下降。架构设计与数据选择等预训练研究有望在 2-3 年内实现自动化,同时推动智能体需求激增。

  2. The Verge · AI77

    OpenAI 集中发布数百项数学成果引发数学界震动与焦虑

    OpenAI 集中发布了分布在 700 多篇手稿中的近 400 项 AI 生成数学成果,引发数学界对其验证难度和科研生态冲击的广泛震动与焦虑。受访数学家指出,成果虽触及黎曼猜想和霍奇猜想等重大课题,但仅约 42% 拥有 Lean 形式化代码,论文叙述质量参差不齐且伴随撤稿与引用不全等问题。大量既定课题被模型快速覆盖,也让青年学者的经费申请和职业前景面临前所未有的不确定性。

    推荐理由:原文汇集了数十位一线数学家的实名反馈,呈现了前沿模型集中冲击基础学科时对传统学术研究范式与科研生态的具体影响。

  3. arXiv cs.AI34

    ReTeach:通过多轮反思与重试构建自教师

    研究提出反思性自我蒸馏框架 ReTeach,仅利用模型自身的生成尝试与结果级验证,通过多轮显式反思与重试构建自教师。该方法结合结果感知的样本加权策略进行同策略蒸馏,在保留单次推理特性的同时迁移多轮修正收益。在涵盖数学推理、科学问答和工具使用的 6 个基准测试中,ReTeach 相比 GRPO 将平均准确率提升了 1.39 个百分点。

  4. arXiv cs.AI37

    Fed-GRPO:基于奖励信号驱动的联邦群体相对策略优化框架

    研究人员提出 Fed-GRPO 联邦训练框架,利用 GRPO 训练中天然生成的奖励统计作为零成本信号,无需共享原始数据即可协同训练大语言模型的推理能力。该框架包含信号加权聚合、全局奖励校准与自适应稀疏通信三项机制。数学推理任务实验表明,Fed-GRPO 显著优于 FedAvg 并接近中心化训练性能,可无损降低 32x 通信量,且在紧缺带宽下支持高达 621x 压缩。

  5. arXiv cs.AI42

    从思维链到循环:基于循环 Transformer 的非自回归隐式推理

    LLoCoT 框架通过共享 Transformer 循环迭代优化隐式工作区,实现了非自回归隐式推理。在 HumanEval 和 MBPP 评测中,LLoCoT 取得受测方法最高均分,准确率持平显式 CoT 基准 Reasoning SFT。相比 Reasoning SFT,LLoCoT 将推理阶段延迟降低约 42 倍,首个回答 token 生成时间缩短约 36 倍,端到端吞吐量提升 9.2%。

  6. arXiv cs.AI49

    追踪编程智能体玩 ARC-AGI-3 的思维轨迹:对持续学习的启示

    一项研究通过让基于冻结基础模型的编程智能体挑战交互式推理基准 ARC-AGI-3,提出了一套通过脚本与笔记追踪其思维轨迹的度量协议,白盒分析其持续学习机制。在 2 个模型家族中 3 个骨干模型的 7 次评估显示,跨任务调用的脚本仅占 33/630,智能体会遗弃 74% 的已有脚本并重写通用规则,笔记亦只追加不修改。

  7. arXiv cs.AI35

    真实社交场景中从起因到后果的认知导向情感追踪

    研究人员提出认知导向情感框架 TRACE 及基准 TRACE-Bench,基于 646 个视频与 3,746 个问答对评估多模态大模型的情感追踪能力。评测发现模型表现显著落后于人类,常将外显行为误判为真实感受并在长链推理中捏造情节。基于该框架提出的结构化推理方法 TRACER,在涵盖因果推理与全链重构等 5 项任务上均超越所有基线模型。

  8. arXiv cs.AI34

    RL-ARC:通过推理引导的不确定性校准大型推理模型

    研究人员提出校准感知训练框架 RL-ARC,通过联合利用推理置信度与答案置信度来校准大型推理模型。该方法将推理置信度作为辅助信号,在正确样本上应用推理引导正则化,并在错误样本上施加过度自信惩罚。分布内(ID)与分布外(OOD)实验表明,RL-ARC 在不明显牺牲推理性能的前提下改善了模型校准,并实现了自适应置信度估计。

  9. arXiv cs.AI36

    SynCo:基于多智能体强化学习的自进化 LLM 数据合成协同训练框架

    研究人员提出基于多智能体强化学习的自进化 LLM 数据合成协同训练框架 SynCo。该框架联合优化两个独立参数化的智能体:Synthesizer 根据能力状态构建训练任务,Reasoner 则从中学习并提供互补奖励,实现解题策略与训练分布的共同演进。在 8 个数学推理基准测试中,SynCo 显著优于现有合成数据方法和对照基线,大部分收益源自此前未解决的问题。

  10. arXiv cs.AI50

    DuplexAgent-RSI:面向全双工语音智能体协作的递归 Harness 改进框架

    研究人员提出了全双工语音协作系统 DuplexAgent 及其闭环改进框架 Duplex-Harness-RSI,将语音交互与异步委派任务的协调逻辑解耦为六个可编辑模块。系统利用模拟器自动生成带时序的测试对话,并通过委派池中的推理大语言模型与编码智能体自动诊断失败轨迹并更新模块配置。实验表明,该系统在保持低延迟打断响应的同时,提升了口语知识问答与可执行工具调用的评测表现。

  11. arXiv cs.AI37

    基于可能性推理的开放式科学发现研究

    研究者利用可能性理论将大语言模型驱动的开放式科学发现形式化为溯因自主科学发现(AASD)问题。该研究提出了可量化发现进展的溯因效用指标,以及首个 AASD 算法——可能性前沿搜索,在保持随时有效性的同时渐进实现 ε-最优溯因效用。合成与真实世界科学发现任务的实验表明,该方法展现出强劲的性能表现。

  12. arXiv cs.AI33

    GameCommBench:AI 游戏解说的统一评测基准与类型感知评估框架

    研究者提出了 GameCommBench 评测基准与 TACE 评估框架,旨在统一棋盘游戏、体育和电竞等多模态场景下的 AI 游戏解说评估。TACE 通过类型感知结构化评测不同解说功能,并已通过人类一致性验证。评测代表性 AI 解说员的结果显示其能力分布不均,其中现场实时观察与策略分析是当前的核心瓶颈。

  13. arXiv cs.AI34

    推理强化学习轨迹生成:平衡参考引导与自由生成

    研究提出自适应参考引导(ARG)方法,在固定生成预算下平衡参考前缀引导与自主生成,用于解决推理强化学习在 GRPO 全失败组中的轨迹构建难题。在 Qwen3-4B 与 Qwen3-8B 上的 5 个数学推理基准测试显示,ARG 在受评方法中取得最高的综合 pass@12,同时保持了有竞争力的平均采样准确率。

  14. arXiv cs.AI35

    学习以指数级更少空间进行规划搜索

    研究提出利用语言模型在反例引导循环中学习索引策略,实现仅需多项式空间且无需维护已访问状态列表的规划搜索。在 IPC 2023 Learning Track 与 Autoscale Agile 的 1,890 项测试任务中,该方法成功解决 1,709 项,求解量超过 LAMA、BFWS 与 Levitron,且多数任务在 1 秒及 100 MiB 内完成。

  15. arXiv cs.AI37

    Agentic AI 的验证与自我改进:基础与理论极限

    研究者提出了一个基于有界验证与隐蔽终端随机性的理论框架,用于形式化分析 Agentic AI 系统的验证能力与自我改进极限。研究证明,在统一完备解释器与固定验证协议下,一致有界的递归自我修改仍严格保留在同一验证复杂度类内。框架还将自我改进声明与正确性、容许证据及条件选择误差控制等要求直接绑定。

10月9日周五
  1. 量子位66

    字节 Seed 团队揭示 DeepSeek 表现波动的根源:分块 KV Cache 压缩引发相位敏感性

    字节 Seed 团队研究发现,DeepSeek-V4 等模型的长文本检索表现会随输入 Token 相对压缩窗口边界的位置出现周期性波动,128K 检索准确率差距最高达 40.2 个百分点。这一现象被称为相位敏感性,主要由分块 KV Cache 压缩机制引起,且波动周期与底层压缩步长直接对应。实验显示后训练和架构迭代能缩小该差距,团队建议评估分块压缩模型时需对不同压缩相位分别测试。

  2. arXiv cs.LG43

    衡量与缓解 RLVR 中的解题模式坍缩

    研究指出 RLVR(可验证奖励强化学习)后训练会导致解题模式坍缩,使模型概率集中在少数正确解法上,并为此提出了评测基准 ModeBench 与方案 Re:Max。ModeBench 能同时检验输出正确性与解题模式,Re:Max 则在回放缓冲区中为每个发现的模式存储样本并进行均匀训练。在 3 种模型规模与 2 种 RL 目标下,该方法同时提升了策略成功率与解题多样性。

  3. arXiv cs.LG35

    Invariant-Measure Reasoners:面向隐式推理的稳定表示

    研究人员提出不变测度推理器(ImR),通过引入不变测度作为稳定表示,解决隐式推理模型在不同循环深度下预测不稳定的问题。该框架描述潜状态在循环块更新下的长期分布,并根据预测头在该测度下的输出期望进行预测。在迷宫和数独任务中,无论是仅微调现有预测头还是从头训练,ImR 均有效降低了预测不稳定性并提高了准确率。

  4. arXiv cs.LG35

    CARing:面向诊断预测的医疗 Token 覆盖感知推理

    CARing 框架通过组合式语义 ID(SIDs)与覆盖奖励强化学习,解决了大语言模型在多标签就诊诊断预测中覆盖不足与分词碎片化的问题。该方法利用残差量化将疾病语义编码为紧凑 token,并通过覆盖奖励与多正样本监督优化多标签推理轨迹。在 MIMIC-III 和 MIMIC-IV 上,CARing 加权 F1 超越全部基线,推理模式下 R@30 分别达 46.04% 和 46.52%。

  5. arXiv cs.LG44

    可见链式推理并非通用优化手段:分析代码生成中受人设与思考配置影响的研究

    研究发现显式链式推理(visible CoT)在分析代码生成中不具备普遍的准确率优势,推理表征匹配目标语言也无法带来持续增益。通过在 SQL 和 Python(pandas)基准上的对比评测,其效果高度依赖于人设表述、目标语言以及模型内部推理配置。研究表明推理策略需根据具体模型、任务目标与配置联合选择,而非直接作为通用默认设置。

  6. arXiv cs.LG32

    循环自我提升:面向循环大语言模型的动态跨循环 on-policy 蒸馏

    研究者提出面向循环大语言模型(LoopLMs)的跨循环 on-policy 知识蒸馏框架 LoopOPD 及其动态版本 D-LoopOPD,利用内部循环计算作为自身监督来源,无需外部教师即可实现循环自我提升。在 Ouro-Thinking 模型上的实验表明,仅在数学数据上训练即可提升数学推理、通用推理及代码生成表现。相关代码和模型权重将在接收后开源。

  7. arXiv stat.ML32

    迁移验证:精确信息前沿及其调用代价

    该研究针对迁移验证推导了信息与调用代价的精确前沿,证明达成概率 s 所需的最小因果信息由列表率失真函数确定。在精确验证器下,设计源可在 1+\log_2 5 次调用内逼近下界,绝大多数结论已在 Lean 4 中完成机器验证。测试表明小型 Transformer 在潜在维度 5 时利用了全部传输比特,而在维度 11 时则完全无法利用。

  8. Scientific American78

    OpenAI 批量发布 700 多篇理论研究手稿,专家解读数学与物理领域关键成果

    OpenAI 集中发布了 700 多篇手稿,声称在数学、理论物理和计算机科学的 372 个未决问题上取得了证明或实质进展。《科学美国人》梳理指出,成果包括推进准黎曼猜想、解决四维挂谷猜想,以及将矩阵乘法复杂度指数降至 2.25。尽管部分成果被学界评价极高,但许多证明尚未经 Lean 形式化验证,部分内容已被撤回,且官方未公开完整提示词与运行细节。

    推荐理由:原文汇总了外部学者对多项证明的核验反馈,读者可以借此了解 AI 在理论数学和算法前沿的具体突破与现存争议。

  9. Scientific American83

    数学界对 OpenAI 批量发布数学研究成果反应褒贬不一

    OpenAI 集中发布了针对 372 个数学和计算机科学开放问题的 AI 生成成果,引发数学界广泛关注与争议。目前 42% 的成果已用 Lean 语言完成形式化验证,但论文质量参差不齐且已有 3 篇因重大错误撤稿;部分学者赞赏其引用改进与突破,也有学者批评其缺乏负面结果透明度并涉嫌展现学术霸权。

    推荐理由:报道呈现了数学界对大批量AI生成论文的真实分歧与验证难度,有助于评估AI在纯数学前沿研究中的落地瓶颈。

  10. TechCrunch · AI67

    OpenAI 数学难题解答被指未达学术界标准

    OpenAI 本周公布了数百个复杂数学难题的模型解答,但数学界专家与顾问机构指出其仍未达标,尤其在人类可理解性与形式化验证上存在欠缺。在 719 篇文稿中仅 10 篇公开了模型的链式推理,同时新研究发现其自然语言证明与 Lean 代码形式化表述之间存在脱节。陶哲轩等学者强调,缺乏人类理解、同行评审和社区互动的自动化解题难以对数学领域产生实质意义。

  11. The Decoder81

    OpenAI 批量发布 AI 生成证明引发争议,部分数学家呼吁发起抵制

    OpenAI 内部模型批量发布上百个公开数学问题的机器证明草稿,引发部分数学家呼吁对该公司发起抵制。菲尔兹奖得主陶哲轩等人指出,大量难以阅读的 AI 证明无法带来概念性理解,反而可能挤压年轻学者空间并破坏传统学术合作生态;数学界目前正就抵制是否可行、预印本数据保护以及学科评价体系调整展开激烈争论。

    推荐理由:原文记录了数学界对批量机器证明的抵制呼声与争议,展现了前沿理论研究在自动化解题冲击下面临的范式困境。

10月8日周四
  1. Solidot75

    陶哲轩认为数学 2.0 时代应降低解决难题的核心地位

    针对 OpenAI 称其前沿模型解决四维挂谷猜想等数学难题,数学家陶哲轩提出数学 2.0 时代应弱化抢先解决难题的核心地位,转而重视学术阐释、社区建设与开拓新方向。陶哲轩指出,传统证明能通过同行研讨沉淀为体系化知识,而 AI 依靠提示词解题既缺乏深入理解也无法参与学术交流,甚至迫使开创性研究因防范截胡而走向保密。

  2. arXiv cs.LG36

    给提示词加噪:连续扩散语言模型中的条件 Token 加噪方法

    连续扩散语言模型研究提出在训练中对条件提示词 token 加噪,仅需修改单行代码且默认无额外推理开销。该方法使 Sudoku Hard 求解率从 3.73% 提升至 24.65%,10x10 N-Queens 覆盖率由 50.60% 增至 73.79%。其还在 Gigaword 摘要上提升了生成质量,但无法迁移至开放式对话任务,代码已公开。

  3. arXiv cs.LG36

    自剪枝 Transformer:基于 Universal Attention 的极致 KV cache 压缩

    Universal Attention 架构通过整合复合衰减机制并保留 RoPE 与 Softmax attention,实现了端到端训练的自适应 KV cache 剪枝。实验显示,该方法在自然语言和合成任务中取得了 10x 的 SOTA 压缩率,下游性能甚至优于未剪枝基线。在长上下文泛化测试中,该架构在 16k 长度下实现了 25x 的压缩率。

  4. arXiv cs.LG38

    SPIN:面向稀疏注意力的影子预测索引器

    研究人员提出用于稀疏注意力的影子预测索引器 SPIN,通过基于历史的轻量预测识别重要 KV blocks,避免在每个解码步对完整 KV cache 打分。在长上下文与智能体基准评测中,SPIN 在保持任务质量的同时实现了 30-40% 的稀疏度。在端到端 vLLM 服务中,SPIN 将输出吞吐量提升最高 14.9%,并将中位数 token 间延迟降低最高 13.2%。

  5. arXiv cs.LG35

    Tiny Transformer 算术推理的算法草稿本与分阶段课程训练

    针对总参数 49.3M 的 Tiny Transformer,研究者通过逐位长除法草稿本与 4 阶段课程,在 4,000 题测试集上将除法准确率从 4.0% 提升至 86.7%。训练中序列填充会产生 83% 的梯度饥饿伪影,且缺少语言预训练会导致准确率低于 2.0%。但模型在未见过的 4 位操作数上准确率跌至 0.00%,且无缓冲训练会导致除法发生灾难性遗忘。

  6. arXiv cs.LG33

    面向高效隐式多智能体协作的面向任务关键层 KV 通信

    研究人员提出免训练框架 KITE,通过仅传输关键层 KV 状态进行面向任务的隐式多智能体协作。该方法依据接收端轨迹失真标准筛选任务关键层,并将其作为自回归隐式推理的入口。在 7 个基准测试中,KITE 相比全层 KV 通信降低了 28-36x 的通信量,实现最高 3x 的端到端推理加速,准确率最高提升 23.3 个百分点。

  7. arXiv cs.LG34

    面向 Agentic AI 驱动自动化的有界自主与可验证安全

    针对 Agentic AI 在高风险环境中的认知漂移风险,研究者提出了包含状态分级与李雅普诺夫有界共识框架(LBCF)的安全治理框架 BRaVeS。该框架将领域专家约束编码为不变锚点并在认知风险增加时限制自主权。在 HAI 22.04 工业控制系统数据的离散事件 Monte Carlo 模拟中,LBCF 实现了有限步收敛且无安全违规。