跳到正文

#推理

今日 0 条
11月2日周一
  1. arXiv cs.LG28

    用于可信 IoT 异常检测的统一 XAI-NSAI 分析框架

    研究团队提出了一个围绕 5 个互补维度构建的统一 XAI-NSAI 分析框架,旨在结合可解释人工智能与神经符号人工智能以实现可信 IoT 异常检测。该框架提供了表征现有方案、识别能力差距与权衡系统设计的结构化依据。作者通过 3 项代表性研究展示了其分析效用,并将其成功应用于医疗物联网(Medical IoT)异常检测系统。

  2. arXiv cs.LG35

    StrictPRMBench:用于审计固定分数 PRM 聚合的可重放评测基准

    StrictPRMBench 是一个审计过程奖励模型(PRM)分数聚合规则的可重放评测基准,通过固定推理池与评分证据隔离评估不同聚合器。在 7 个评分 checkpoint 与 2 个基准(N=32)的 14 个单元测试中,乘积聚合由删除干预引起的选取不稳定性均高于几何平均,等单元差异达 +0.0965。该基准提供了版本化结果记录与 CPU 重新分析协议。

  3. arXiv cs.LG44

    大语言模型懂得何为有力的科学证据吗?

    研究团队推出科学推理基准 EDB-Bio(含 96k 个生物实验片段),发现开源与前沿模型开箱时均存在系统性欠自信,Brier 分数仅接近基础概率预测。通过严格适当评分规则进行后训练可显著提升模型校准度,训练出的 Ibis0 模型在连续实验选择任务中的效率达到最佳前沿模型的 2.5 倍。该研究的代码、数据及训练模型均已开源。

  4. arXiv cs.LG36

    用于注意力机制上下文压缩的核插值方法

    研究提出 GAIM 与 Q-DAIM 两种基于核插值的 KV cache 压缩方法,将注意力机制形式化为希尔伯特空间中的线性映射插值。针对二次复杂度问题,该研究结合泰勒级数、Performer 和随机傅里叶特征代理模型实现线性时间压缩,并拓展支持流式注意力。LongBench-E 基准测试显示其表现与 SOTA 相当,Q-DAIM 能有效识别 KV cache 中的信息富集区域。

  5. arXiv quant-ph32

    从搜索中蒸馏知识:面向量子 LDPC 码的解码器模型工厂

    研究人员提出面向量子 LDPC 码的消息传递解码器 GraphMP,无需微调即可跨码族、码尺寸和噪声模型迁移。GraphMP 结合局部消息传递与 beam search 逐步优化候选错误模式,并通过“解码器模型工厂”范式将搜索轨迹转化为数据进行知识蒸馏迭代。该设计构建了快速解码与慢速学习相结合的双循环量子-经典架构,可随量子硬件演进持续适配。

  6. arXiv stat.ML32

    CausalGrade:基于 Jev 的证据引导因果图评分方法

    因果图评分方法 CausalGrade 基于概率判断模型 Jev,整合观测数据证据与因果发现基础模型 CDFM 的边概率,用于在真实结构未知时评估候选图质量。在 300 个合成数据集的全部 20 种算法与变量组合中,该评分均与结构误差呈较强负相关。在 500 个图选择任务中,其最佳候选命中率达到 54.4%,优于 Self-Compatibility 指标的 48.4%。

11月1日周日
  1. 量子位61

    清华姚期智团队提出代数世界模型 AWM

    清华大学姚期智与袁洋团队提出代数世界模型(AWM),旨在让大模型从环境探索中自主构建抽象规则并完成形式化数学推导。该方法通过代码探索、归纳凝炼与 Lean 4 形式化证明三步建立环境模型,既能严密判定任务不可行性,也在 ARC-AGI-3 测试集以 99.9% 的得分全通关,平均动作数仅为人类基准的 43%。

  2. arXiv cs.AI43

    计算亦有形态:冻结 LLM 内部计算的 SelfMorph 自变形机制

    研究人员提出 SelfMorph,通过自适应调整冻结 LLM 的内部计算拓扑,使计算形态成为推理阶段依赖输入的决策。该方法统一了原始前向路径 BASE、层复用 REPEAT 与分支合并 BRANCH,并在生成前由轻量选择器选择形态。在覆盖 4B-27B 的 3 个 LLM 评测中,SelfMorph 在 5 个分布内基准上平均相对提升 8.06%,在 27 个测试设置中有 24 个取得最佳性能。

  3. arXiv cs.AI28

    Inner-Learning:吃墩牌类游戏中从手工编码信念到声明式知识

    研究者提出用于吃墩牌类游戏信念状态建模的声明式方法 Inner-Learning,可自动从 SOTA Skat 引擎中提取手工推理规则并修正原引擎中的 3 个 bug。该方法结合对称派生与专家策略标注扩充规则库,并引入基数约束与置信度参数实现概率信念更新。自对弈评估显示,声明式引擎在胜率和得分上均显著超越原手工编码引擎。

  4. arXiv cs.AI33

    验证引导的逆合成规划:反应反馈与证据时机

    VGR(Verification-Guided Reflow)方法将反应验证作为决策动作引入 AND/OR 搜索,使 Retro190 上的验证可解性从 51.1% 提升至 62.6%。团队进一步提出早期剪枝与延迟引导策略,立即剪枝被拒反应并在完整候选路线形成时调整优先级。该策略在固定调度下将验证可解性进一步提升至 71.1%,同时减少了提议调用与独立验证查询次数。

  5. arXiv cs.AI45

    评估 LLM 因果推理:程序化生成挑战的案例研究

    研究指出,LLM 在因果推理基准 CLadder 上的高分表现主要源于生成器内嵌的肤浅模式,而非真正具备复杂的形式因果推理能力。实验显示,随机森林等简单模型在 CLadder 生成的数据集上训练后同样表现优异。此外,直接删除对形式因果推理至关重要的核心文本后,商业 LLM 的表现几乎不受影响,证明其推理性能极具脆弱性。

  6. arXiv cs.AI39

    GAUSS:面向 LLM 推理服务的负载感知解析与蒙特卡洛模拟器

    研究团队提出面向 LLM 推理服务的负载感知模拟器 GAUSS,可预测特定工作负载、引擎和加速器下的首 token 延迟(TTFT)与 token 间延迟(TBT)完整分布及可持续请求率。该工具结合针对 prefill 和 decode 阶段校准的延迟曲面与排队模型,通过集成蒙特卡洛采样替代单 trace 回放,能有效捕捉尾部延迟并评估未部署的硬件与调度策略。

  7. arXiv cs.AI34

    探究大语言模型作为数值优化器的能力与局限

    研究表明 LLM 能够捕捉数学问题结构并生成接近最优解,但可靠性随维度增加而下降,并常伴随数值误差与约束违背。在凸优化、分式规划等任务中,引入针对可行性与解质量反馈的迭代细化机制,可显著提升可靠性并扩展适用维度。鉴于固有数值与结构错误,LLM 难以作为独立优化器,需结合确定性数值验证构建混合方法。

  8. arXiv cs.AI43

    VerifiedLab:利用已知探索未知

    研究人员提出多智能体框架 VerifiedLab,将科研记录转化为主动系统以加速下游应用与未来趋势预测。系统由负责规划、计算证据、起草与可靠性核查的多角色 AI 科学家组成,通过扩展推理期验证计算对记录逐项核验与推理。在钙钛矿太阳能电池实验中,VerifiedLab 成功复现了已知物理趋势,并提前预测出一年后报道的器件。

  9. arXiv cs.AI43

    SciGame:让 AI 智能体在真实与反事实世界中展开科学发现博弈

    研究者推出科学发现评测基准 SciGame,将科学文献转换为结构化卡片,并构建成对的原始及量纲一致的反事实环境。该基准包含经典定律的历史集合与模型知识截止期后的时序集合,支持候选引导识别与开放式发现两种评估设定。对 5 款前沿模型的测试表明,熟悉先验在规律改变时会削弱表现,还原精确符号形式仍是当前的核心瓶颈。

  10. arXiv cs.AI35

    多元冒犯性建模中的社会人口学特征剖析:适用场景及推理的作用

    在 3 个多标注者数据集的 LLM 实验中,引入社会人口学信息在个体冒犯性预测上的收益微弱且不一致,但在群体和总体层面能带来清晰的预测提升。研究将判断显式分解为整体基线与群体特定偏差,发现对文本与人口特征交互进行显式推理能显著提高基线和偏差估计精度,效果明显优于单纯的条件输入。

  11. arXiv cs.AI35

    面向测序方案理解的 AI 智能体评测与改进

    研究团队推出文档基准 LibStructBench,用于评估 AI 智能体精确重构测序文库结构与分子工作流程的能力。评测显示前沿智能体在分子状态表征和工作流连通性等精确重构上依然不可靠,且更换底层大语言模型比更换智能体框架带来更大的平均性能差异。此外,自主积累程序规则未能在留出集上带来平均分子工作流的提升。

  12. arXiv cs.AI47

    OpenFrontiers:开放研究问题集合与科学再发现评测基准

    研究团队推出 OpenFrontiers,包含 12,151 个开放研究问题的语料库以及 200 个经 Lean 4 形式化核验的数学问题评测基准。该基准在沙箱中通过双检查器核验证明,并在闭卷、冻结检索和联网条件下测试了 7 个 LLM 智能体。结果显示闭卷再发现极少,HQ-50 的 40 个已解问题中最多解决 7 个,联网成功则主要源于检索已发表题解。

  13. arXiv cs.AI45

    ThinkJev:面向校准类型化决策的任意预算单次思考方法

    ThinkJev 提出了一种基于单一混合思考模型的快慢双系统,无需额外训练即可为大语言模型的闭集类型化决策动态分配思考预算。在 5% 目标错误率设定下,Qwen3.5-27B 让快系统直接处理 24.5% 的决策(实际错误率 3.9%),其余任务在置信时提前停止思考,仅消耗 72% 思考 token 达到 81.6% 准确率,相关代码已公开。

10月31日周六
  1. arXiv cs.LG44

    Multi-Token Prediction 的正确实现方式

    研究人员针对多 Token 预测(MTP)训练中的梯度干扰缺陷,提出了无额外参数开销的 Soft-MTP。该方法利用梯度恢复技巧仅反向传播有益的 KL 自蒸馏信号,无缝兼容 DeepSeek 与 Meta 架构。在 167M 至 1.2B 参数规模下,Soft-MTP 带来了更低的困惑度和更快的投机解码,并在 1.2B 微调后提升了数学与代码推理能力。

  2. arXiv cs.LG33

    MASS:面向防泄漏推理的多掩码选择性自蒸馏

    研究提出多掩码选择性自蒸馏方法 MASS,用于提升模型的防泄漏推理能力。MASS 通过单个已验证解的多个独立掩码视图逼近多样参考分布,聚合互补的教师预测并自适应聚焦关键跨度,选择性传递可靠的 token 级别修正。在数学推理基准和多种模型族上,MASS 的性能持续优于强自蒸馏基线。

  3. arXiv cs.LG35

    Predicate Neuron:基于梯度学习的谓词关系可微量化

    研究人员提出 Native Predicate Neuron,通过一阶逻辑量化为标准深度架构引入可微符号推理能力。该神经元用单一可训练参数建模关系逻辑,在执行硬逻辑操作的同时保持反向传播可微,可有效逼近非连续函数。实验表明其在 CNN、RNN 和 Transformer 等架构上显著加速收敛并提升准确率,现已支持 Keras 与 PyTorch。

10月30日周五
10月29日周四
  1. Scientific American63

    数学家借助 AI 证明几何猜想,发现无限族罗曼努金恒等式

    埃默里大学博士后黄一峰与合作者提出并证明了 HJO 猜想,发现历史上的罗曼努金恒等式对应空间中的三叶结,并据此推导出无限族此前未知的恒等式。团队联合 Axiom Math 的数学专用 AI 系统 AxiomProver 协作探索证明思路,并将完整证明转译为 Lean 交互式定理证明语言进行机器验证。相关成果已作为预印本发表于 arXiv,为纽结理论、代数几何与数论的交叉研究开辟了新方向。

  2. arXiv cs.LG33

    COPE:面向 MoE 卸载策略的可组合性能仿真器

    COPE 是一种面向 MoE 卸载策略的仿真器,可在集成前为目标模型与硬件平台选出最佳卸载策略。它包含 Policy Matrix 和 Virtual Heterogeneous Machine 两大组件,通过解构设计空间衍生出 4 个新候选策略并估算性能。相比基线,COPE 将最快策略选择准确率提升 24%-100%,性能预测误差降低 1.7x 至 6.8x,策略实现工作量减少最多 74%。

  3. arXiv cs.LG39

    Packed-SS:基于扩散草稿的单调用自推测解码机制

    Packed-SS 提出了一种自推测解码调度机制,通过让扩散起草器提前一步运行,在单次模型调用中同时完成草稿生成与验证。该方案将输入大小维持在推测宽度的线性级别,且完全保持目标模型的输出分布。在 Nemotron 3B/8B 和 SetDLM 1.7B 上的贪婪解码实验表明,Packed-SS 相比基线取得了更高的吞吐量与更短的平均耗时。

  4. arXiv cs.LG34

    面向引导投机推理的多重重要性采样

    研究提出将多重重要性采样(MIS)引入引导投机推理(GSI),通过多个较小大语言模型集成生成推理草稿,并由大型基础模型与过程奖励模型联合验证。该方法在理论上证明了平衡启发式(balance heuristic)的最优性,并在保持总样本数不变的同时维持了 pass-at-N 性能,有效解决了单一起草模型支撑集未能覆盖目标分布时的失效问题。

  5. arXiv cs.LG34

    具有共享 KV Cache 的 LSTM 风格循环 Transformer

    研究提出一种在循环核心中共享 KV cache 的 LSTM 风格循环 Transformer,在 1024 宽度下参数量减少 40.4%,持久缓存集从 15 个降至 4 个。为解决并行训练与递归生成的缓存不匹配,该方法在训练后 10% 引入一致性损失,在 FineWeb 上消除了 81%–89% 的延续损失惩罚。在 1.05B–4.19B 训练 token 下,权重绑定的损失代价在低预算时更小。

  6. arXiv cs.LG26

    PAI-KNN:面向概念漂移与不平衡数据流的推理时先验自适应

    研究者提出 k 近邻分类器 PAI-KNN,通过在推理时调整先验而非修改记忆,应对概念漂移与类别不平衡下的数据流分类任务。该方法维护简单的滑动窗口缓冲区,利用近期观测得出的类别先验估计动态调整决策规则。在多种合成数据流评测中,PAI-KNN 达到与 SOTA 相当的性能,在动态类别不平衡和概念漂移场景下表现尤为突出。

  7. arXiv cs.LG49

    语言模型能在思考时学习吗?测试跨架构梯度自适应

    跨架构测试表明,在 2k 窗口下进行动态梯度更新,可使 softmax 注意力模型(Qwen3-1.7B、Gemma-4-E4B 等)loss 下降 5-8% 并超越 32k 冻结模型,在扩散模型上降幅达 8-20%。但混合 Gated-DeltaNet 模型提升不足 1%;且在 RULER 等基准中,该自适应仅改变风格与词汇而无法恢复检索,直接写入事实还会让 GSM8K 下降 36-38 分。

  8. arXiv cs.AI31

    数学论证的依赖图:表示、结构度量与证明审查

    研究提出一种借助大语言模型表示与度量数学论证的有向无环图框架,以最长前提路径定义深度,以不同祖先边数统计体积。该方法采用标准化提示词协议分离标注发现、确定性重算与审查辅助,支持跨论文分析定理共用和依赖社区。其应用包括辅助审查人类与 AI 生成证明中的疏漏或未检验条件,但度量仅针对特定表示而非数学内在难度。

  9. arXiv cs.AI36

    ADTGuard:面向大语言模型流式推理的自适应深度-时间安全防护

    研究人员提出大语言模型流式安全护栏 ADTGuard,在每个 token 释放前进行实时检测以防止有害内容提前暴露。该方案通过深度-时间安全动力学(DTSD)与因果深度路由器自适应融合跨层特征与时序风险累积,并能从回复级标签构建 token 级训练目标。测试表明,ADTGuard 仅需 16M 可训练参数即可达到或超越 SOTA 表现,同时维持竞争力的逐 token 延迟。

  10. arXiv cs.AI40

    CARD:从解题轨迹到教学轨迹的认知对齐推理蒸馏

    研究人员提出基于强化学习的认知对齐推理蒸馏框架 CARD,直接将大推理模型的解题轨迹转化为适配小模型认知的教学轨迹。该框架无需昂贵的重新采样,通过分布对齐奖励(匹配学生预测分布)与逻辑连贯奖励(减少误导性错误步骤)进行优化。实验表明,CARD 的域内蒸馏表现优于原始教师轨迹,并在分布外场景取得显著提升,相关代码已开源。