跳到正文

#推理

今日 1 条
10月29日周四
  1. 科学网52

    励建书与王坚对话:AI 与数学的双向赋能将把彼此带向何方

    中科院院士励建书与工程院院士王坚就 AI 介入数学研究展开探讨,指出科学发现的重心正从提出假说转向验证与归因,数学与 AI 亟需建立双向赋能机制。励建书认为 AI 的跨学科整合能力有望改变数学研究范式,使数学家更聚焦原创思考,王坚则指出深层推理能力需要数学领域数据的支撑。针对学科融合,浙江大学数学高等研究院与之江实验室已联合发起未来数学计划,重点布局数学基础模型、形式化验证及底层机理研究。

  2. 科学网45

    洛朗·拉福格:AI时代“数学家的位置无可替代”

    菲尔兹奖得主洛朗·拉福格指出,AI本质上是在文本空间运作的计算工具,若生成的数学文本没有数学家核验便失去意义,因此数学家的位置无可替代。他强调大语言模型的底层核心逻辑全部来自数学,纯数学与应用数学之间并无绝对清晰的边界。此外,AI无法替代人类对知识的理解与内化,不会减少人们在学习上需要投入的精力。

  3. arXiv cs.LG33

    COPE:面向 MoE 卸载策略的可组合性能仿真器

    COPE 是一种面向 MoE 卸载策略的仿真器,可在集成前为目标模型与硬件平台选出最佳卸载策略。它包含 Policy Matrix 和 Virtual Heterogeneous Machine 两大组件,通过解构设计空间衍生出 4 个新候选策略并估算性能。相比基线,COPE 将最快策略选择准确率提升 24%-100%,性能预测误差降低 1.7x 至 6.8x,策略实现工作量减少最多 74%。

  4. arXiv cs.LG39

    Packed-SS:基于扩散草稿的单调用自推测解码机制

    Packed-SS 提出了一种自推测解码调度机制,通过让扩散起草器提前一步运行,在单次模型调用中同时完成草稿生成与验证。该方案将输入大小维持在推测宽度的线性级别,且完全保持目标模型的输出分布。在 Nemotron 3B/8B 和 SetDLM 1.7B 上的贪婪解码实验表明,Packed-SS 相比基线取得了更高的吞吐量与更短的平均耗时。

  5. arXiv cs.LG34

    面向引导投机推理的多重重要性采样

    研究提出将多重重要性采样(MIS)引入引导投机推理(GSI),通过多个较小大语言模型集成生成推理草稿,并由大型基础模型与过程奖励模型联合验证。该方法在理论上证明了平衡启发式(balance heuristic)的最优性,并在保持总样本数不变的同时维持了 pass-at-N 性能,有效解决了单一起草模型支撑集未能覆盖目标分布时的失效问题。

  6. arXiv cs.LG34

    具有共享 KV Cache 的 LSTM 风格循环 Transformer

    研究提出一种在循环核心中共享 KV cache 的 LSTM 风格循环 Transformer,在 1024 宽度下参数量减少 40.4%,持久缓存集从 15 个降至 4 个。为解决并行训练与递归生成的缓存不匹配,该方法在训练后 10% 引入一致性损失,在 FineWeb 上消除了 81%–89% 的延续损失惩罚。在 1.05B–4.19B 训练 token 下,权重绑定的损失代价在低预算时更小。

  7. arXiv cs.LG26

    PAI-KNN:面向概念漂移与不平衡数据流的推理时先验自适应

    研究者提出 k 近邻分类器 PAI-KNN,通过在推理时调整先验而非修改记忆,应对概念漂移与类别不平衡下的数据流分类任务。该方法维护简单的滑动窗口缓冲区,利用近期观测得出的类别先验估计动态调整决策规则。在多种合成数据流评测中,PAI-KNN 达到与 SOTA 相当的性能,在动态类别不平衡和概念漂移场景下表现尤为突出。

  8. arXiv cs.LG49

    语言模型能在思考时学习吗?测试跨架构梯度自适应

    跨架构测试表明,在 2k 窗口下进行动态梯度更新,可使 softmax 注意力模型(Qwen3-1.7B、Gemma-4-E4B 等)loss 下降 5-8% 并超越 32k 冻结模型,在扩散模型上降幅达 8-20%。但混合 Gated-DeltaNet 模型提升不足 1%;且在 RULER 等基准中,该自适应仅改变风格与词汇而无法恢复检索,直接写入事实还会让 GSM8K 下降 36-38 分。

  9. arXiv cs.AI31

    数学论证的依赖图:表示、结构度量与证明审查

    研究提出一种借助大语言模型表示与度量数学论证的有向无环图框架,以最长前提路径定义深度,以不同祖先边数统计体积。该方法采用标准化提示词协议分离标注发现、确定性重算与审查辅助,支持跨论文分析定理共用和依赖社区。其应用包括辅助审查人类与 AI 生成证明中的疏漏或未检验条件,但度量仅针对特定表示而非数学内在难度。

  10. arXiv cs.AI36

    ADTGuard:面向大语言模型流式推理的自适应深度-时间安全防护

    研究人员提出大语言模型流式安全护栏 ADTGuard,在每个 token 释放前进行实时检测以防止有害内容提前暴露。该方案通过深度-时间安全动力学(DTSD)与因果深度路由器自适应融合跨层特征与时序风险累积,并能从回复级标签构建 token 级训练目标。测试表明,ADTGuard 仅需 16M 可训练参数即可达到或超越 SOTA 表现,同时维持竞争力的逐 token 延迟。

  11. arXiv cs.AI40

    CARD:从解题轨迹到教学轨迹的认知对齐推理蒸馏

    研究人员提出基于强化学习的认知对齐推理蒸馏框架 CARD,直接将大推理模型的解题轨迹转化为适配小模型认知的教学轨迹。该框架无需昂贵的重新采样,通过分布对齐奖励(匹配学生预测分布)与逻辑连贯奖励(减少误导性错误步骤)进行优化。实验表明,CARD 的域内蒸馏表现优于原始教师轨迹,并在分布外场景取得显著提升,相关代码已开源。

  12. arXiv cs.AI34

    LLM 在滑块拼图中的原生规划可验证效率极限

    研究团队提出一种可验证评估框架,通过无工具和无执行反馈的单次生成来隔离并衡量 LLM 的原生规划能力,将成功加权规划效率分解为执行可靠性、规划协调性与动作经济性(SPE = R × Q × E)。在 4×4 滑块拼图上对 7 种模型条件的 8,400 个规划评测显示,即便全通关的模型在更长步长下经济性也会下降,使长程无辅助规划的局限性得以量化验证。

  13. arXiv cs.AI35

    WAKMan:工作负载感知的 KV cache 管理器

    研究人员提出工作负载感知的 KV cache 管理器 WAKMan,无需获知请求类型或读取提示词,即可自适应选择淘汰策略,将缓存命中率较 LRU 平均提升 5 个百分点。针对 20 种混合流量下单一策略无法通用的问题,它有效兼顾了偏好时间局部性的智能体步骤与偏好频率的长对话,在所有策略中取得了最低的平均与最坏情况最优性差距。

  14. arXiv cs.AI34

    OA-RAG:面向忠实 LLM 推理的本体智能体 RAG

    研究人员提出 OA-RAG 智能体,将形式化推理与 LLM 推理融合,利用领域本体的逻辑结构提升回答保真度并减少模型幻觉。系统为每个回答提供本体证据,并给出评估的扎实度等级(entailed、supported、related 或 unrelated)以指示可靠性。在 3 个大规模本体基准和 6 个真实医学问答任务中,OA-RAG 综合表现超越主流 RAG 与本体微调方法。

  15. arXiv cs.AI37

    面向可解释鉴别诊断的本体引导多智能体推理框架

    研究者提出一种面向可解释鉴别诊断的本体引导多智能体框架,通过将 LLM 推理锚定在专家整理的结构化医学知识库中,模拟临床医生的迭代推理过程。该系统将诊断分解为明确、可审计的推理步骤,在减少模型幻觉的同时识别最具辨别力的缺失症状并生成针对性追问。目前该项目的源代码已公开可用。

  16. The Decoder80

    Google DeepMind 发布 Gemini 4 Carbon 模型

    Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon,并在 Artificial Analysis 智力指数 v5.0 中以 59 分位居榜首。

    推荐理由:原文详细对比了新模型在长程工程推理与网络安全任务上的评测数据,读者可以参考其在不同基准测试中的成本与性能权衡。

10月28日周三
  1. arXiv stat.ML44

    上下文学习中思维链(CoT)的渐近理论

    该研究利用高维渐近随机矩阵理论,推导出上下文学习中思维链(CoT)泛化误差关于推理深度、预训练数据量与上下文长度的精确公式。分析揭示了指数改善、饱和及过度思考间的相变,表明更深推理需充足预训练和上下文支持,否则易导致误差放大或饱和。相关预测已在线性注意力和 softmax 注意力模型实验中得到验证。

  2. arXiv cs.AI44

    InfiniteWorld:将视觉证据与已知物理规律分离

    研究人员推出物理推理基准 InfiniteWorld,通过将问题与系统性修改物理参数的模拟视频配对,测试视频语言模型能否依据视觉证据进行推理。该基准涵盖定律识别、参数估计和定律归纳等 5 项任务,并提供纯文本与视频帧等 5 种配对输入设置。评测显示现有模型普遍依赖地球常规规律,在观测物理动态改变时仍频繁给出常规答案。

  3. arXiv cs.AI63

    System 1 决策模型指南:超越大语言模型的快速决策架构

    研究者发布关于 System 1 决策模型的综合指南,探讨如何通过单次前向传播直接输出结构化决策,解决大语言模型自回归推理在路由、门控、打分和分类等常规决策中延迟高与成本贵的问题。

    推荐理由:该文梳理了单次前向传播的快速决策架构,为高吞吐工作流中降低模型延迟与调用成本提供了系统参考。

  4. arXiv cs.AI49

    掌握全部事实仍答错:视觉语言模型中的整合鸿沟

    研究发现视觉语言模型普遍存在“整合鸿沟”,即模型即便能准确识别各个局部事实,在多证据联合决策时仍会出现严重失效。例如 Gemma-3-27B 能正确恢复所有孤立单项事实,但在 8 项视觉实例上的全局有效率仅有 19.75%。探测与激活替换实验表明,仅在隐藏状态表征解相关信息不足以实现可靠推理,模型改进需专门针对证据整合能力。

  5. arXiv cs.AI44

    Iris:支持可复用选项记忆的视觉候选类型化决策框架

    研究团队推出多模态决策框架 Iris,支持图像与文本候选输入,在保证严格顺序不变性的同时实现精确缓存复用。跨请求复用图像候选使延迟在 K=256 与 K=2048 时分别降低 37x 和 191x,并在新基准上达到最高 91.7% 准确率且零翻转率。此外,Iris-4B 在 JevBench 评测中达到 100% 准确率超越 30B 模型,代码与权重已开源。

  6. arXiv cs.AI40

    PACE:面向自适应猜想探索的研究证明智能体

    研究人员提出 PACE,一种支持自适应猜想探索与证明开发的研究证明 AI 智能体。该系统结合独立验证器与证据追踪记忆动态管理依赖,并配套推出了包含 51 个已知任务与 6 个开放问题的应用数学基准 ResearchProofBench。在 51 个已知证明任务中,PACE 取得 75.16 的综合 Proof Score 并完成 20 项证明,评审得分均高于对比基线。

  7. arXiv cs.AI40

    MORE:面向自进化 AI 智能体的模式优化与自适应算力推理框架

    研究人员提出自进化训练框架 MORE,可针对不同任务自适应选择推理模式(直接回答、长短 CoT、代码推理)与 token 支出。MORE 采用两阶段范式,先建立模式先验,再通过 MATE-PPO 在生成的可验证任务流上自进化,无需人工精选数据。在 3B 至 14B 规模的模型上,MORE 在代码、数学和通用推理基准中均实现了更高准确率、更短回复长度与更少推理时间。

  8. arXiv cs.AI44

    RAQ-MLA:面向多头潜在注意力(MLA)Cache 的角色感知量化

    研究者提出免训练的角色感知量化方法 RAQ-MLA,专为大模型的多头潜在注意力(MLA)Cache 设计。该方法针对 latent 和位置 key 对注意力输出的不同误差影响分别拟合可逆变换,将完整 MLA Cache 量化至每个元素约 2.5 bits。在无需训练的情况下,其理论 KV cache 容量提升 6.5x,并在 4 个 MLA 模型的推理与代码任务上保持几乎无损。

  9. arXiv cs.AI53

    审计罕见病诊断大模型系统中的评估偏差与数据泄漏

    研究团队基于超 60,000 例临床病例开展实证审计,发现当前大模型在罕见病诊断上的高准确率多源于数据泄漏而非真实医学推理。在引入严格的跨数据集隔离后,前沿智能体框架的跨数据集平均 Recall@1 从 54.3% 降至 40.3%,监督分类器准确率也从 42.9% 骤降至 16.7%。研究还量化了大模型利用病历回顾性治疗线索等评估假象,并提出了标准化的医疗 AI 防泄漏评估框架。

  10. arXiv cs.AI36

    SMART-Med:基于不确定性感知路由的选择性多智能体医学推理

    研究人员提出本地多智能体医学推理方法 SMART-Med,通过不确定性驱动的路由机制自适应决定直接回答还是引入专家智能体协作。该方法结合新构建的数据集 MedVR-3K 并采用 GRPO 算法微调,在 Slake、PathVQA、VQA-RAD 和 PMC-VQA 四项基准上取得 6.7% 的平均提升。同时,SMART-Med 将推理时间缩短超过 3.8x,token 消耗降低 72%。

  11. arXiv cs.AI49

    如何构建现代扩散语言模型

    现代扩散语言模型通过从噪声或掩码序列中并行生成 token 并迭代去噪,克服了自回归 LLM 顺序生成导致的 GPU 瓶颈与不可修改问题。该机制可实现每秒数千 tokens 的生成速度,并支持内置纠错与推理计算扩展。目前离散扩散模型在生物序列和自然语言领域已扩展至数十亿参数,包含开源与商业化发布。

  12. arXiv cs.AI43

    作用域语义不变性:构建大语言模型可靠性的基础

    针对大语言模型在语义等价查询下输出不一致的问题,研究提出了基于知识图谱的作用域语义不变性评估框架。在 MITRE D3FEND 及 8 个 Wikidata 派生域的评测显示,模型不一致性集中在由 TREE、STAR 和 CYCLE 模式构成的稳定热点子图上。采用选择性图接地与分层接地策略,可在保留正确知识的同时显著减少不一致并提升正确性。

  13. arXiv cs.AI35

    基于大语言模型扩展质性分析:人机协同编码 Smart Coder 框架的开发与验证

    研究人员提出用于人机协同质性编码的 Smart Coder 框架,通过指令、提示策略与信度检验三阶段系统化规范大语言模型辅助编码。基于 72 份教师访谈逐字稿的评测表明,明确指令与链式推理能显著提高编码一致性,自洽性机制则有助于筛选不稳定决策供人工复核。该框架在系统化监控模型的同时保留了人类对最终决策的主导权。

  14. arXiv cs.AI30

    面向可质疑因果发现可证明补偿的最优修正集

    研究人员针对因果发现中的条件独立性检验冲突,提出将事实修复建模为最小成本修正问题,并通过回答集编程(ASP)实现因果一致性求解。该方案在最优稳定模型与最小成本修正集间建立映射,为用户质疑提供形式化补偿保证。基准评测显示,OptABA-PC 相比 Causal ABA 保留了更多正确事实,减少了歧义并提升因果图重构表现。

  15. Latent Space68

    Anthropic 团队访谈:如何以“大脑与双手分离”架构交付 Claude 与智能体

    Anthropic 工程与产品团队在访谈中复盘了 Opus 5.5 的发布流程,重点介绍了在安全防御、API 演进及 Managed Agents 架构上的工程实践。团队详细阐述了将智能体会话控制层与代码执行沙盒物理隔离的设计,有效避免了沙盒崩溃波及全局并防止运行凭据泄漏。此外,团队还探讨了通过跨轮次保留思考块来防御模型蒸馏攻击,以及依托早期客户 harness 开展非确定性评测的经验。