用于可信 IoT 异常检测的统一 XAI-NSAI 分析框架
研究团队提出了一个围绕 5 个互补维度构建的统一 XAI-NSAI 分析框架,旨在结合可解释人工智能与神经符号人工智能以实现可信 IoT 异常检测。该框架提供了表征现有方案、识别能力差距与权衡系统设计的结构化依据。作者通过 3 项代表性研究展示了其分析效用,并将其成功应用于医疗物联网(Medical IoT)异常检测系统。
研究团队提出了一个围绕 5 个互补维度构建的统一 XAI-NSAI 分析框架,旨在结合可解释人工智能与神经符号人工智能以实现可信 IoT 异常检测。该框架提供了表征现有方案、识别能力差距与权衡系统设计的结构化依据。作者通过 3 项代表性研究展示了其分析效用,并将其成功应用于医疗物联网(Medical IoT)异常检测系统。
研究团队推出硬件感知框架 SparseGDN,通过结构化块内近似与动态循环事件选择加速线性注意力模型的长上下文 prefill。在 Qwen3.5-4B 和 Qwen3.5-9B 跨 4K 至 128K 上下文的 RULER 评测中,该方法平均仅保留约 29% 的循环事件。
StrictPRMBench 是一个审计过程奖励模型(PRM)分数聚合规则的可重放评测基准,通过固定推理池与评分证据隔离评估不同聚合器。在 7 个评分 checkpoint 与 2 个基准(N=32)的 14 个单元测试中,乘积聚合由删除干预引起的选取不稳定性均高于几何平均,等单元差异达 +0.0965。该基准提供了版本化结果记录与 CPU 重新分析协议。
研究团队推出科学推理基准 EDB-Bio(含 96k 个生物实验片段),发现开源与前沿模型开箱时均存在系统性欠自信,Brier 分数仅接近基础概率预测。通过严格适当评分规则进行后训练可显著提升模型校准度,训练出的 Ibis0 模型在连续实验选择任务中的效率达到最佳前沿模型的 2.5 倍。该研究的代码、数据及训练模型均已开源。
研究提出 GAIM 与 Q-DAIM 两种基于核插值的 KV cache 压缩方法,将注意力机制形式化为希尔伯特空间中的线性映射插值。针对二次复杂度问题,该研究结合泰勒级数、Performer 和随机傅里叶特征代理模型实现线性时间压缩,并拓展支持流式注意力。LongBench-E 基准测试显示其表现与 SOTA 相当,Q-DAIM 能有效识别 KV cache 中的信息富集区域。
研究人员提出面向量子 LDPC 码的消息传递解码器 GraphMP,无需微调即可跨码族、码尺寸和噪声模型迁移。GraphMP 结合局部消息传递与 beam search 逐步优化候选错误模式,并通过“解码器模型工厂”范式将搜索轨迹转化为数据进行知识蒸馏迭代。该设计构建了快速解码与慢速学习相结合的双循环量子-经典架构,可随量子硬件演进持续适配。
因果图评分方法 CausalGrade 基于概率判断模型 Jev,整合观测数据证据与因果发现基础模型 CDFM 的边概率,用于在真实结构未知时评估候选图质量。在 300 个合成数据集的全部 20 种算法与变量组合中,该评分均与结构误差呈较强负相关。在 500 个图选择任务中,其最佳候选命中率达到 54.4%,优于 Self-Compatibility 指标的 48.4%。
清华大学姚期智与袁洋团队提出代数世界模型(AWM),旨在让大模型从环境探索中自主构建抽象规则并完成形式化数学推导。该方法通过代码探索、归纳凝炼与 Lean 4 形式化证明三步建立环境模型,既能严密判定任务不可行性,也在 ARC-AGI-3 测试集以 99.9% 的得分全通关,平均动作数仅为人类基准的 43%。
研究人员提出 SelfMorph,通过自适应调整冻结 LLM 的内部计算拓扑,使计算形态成为推理阶段依赖输入的决策。该方法统一了原始前向路径 BASE、层复用 REPEAT 与分支合并 BRANCH,并在生成前由轻量选择器选择形态。在覆盖 4B-27B 的 3 个 LLM 评测中,SelfMorph 在 5 个分布内基准上平均相对提升 8.06%,在 27 个测试设置中有 24 个取得最佳性能。
研究者提出用于吃墩牌类游戏信念状态建模的声明式方法 Inner-Learning,可自动从 SOTA Skat 引擎中提取手工推理规则并修正原引擎中的 3 个 bug。该方法结合对称派生与专家策略标注扩充规则库,并引入基数约束与置信度参数实现概率信念更新。自对弈评估显示,声明式引擎在胜率和得分上均显著超越原手工编码引擎。
VGR(Verification-Guided Reflow)方法将反应验证作为决策动作引入 AND/OR 搜索,使 Retro190 上的验证可解性从 51.1% 提升至 62.6%。团队进一步提出早期剪枝与延迟引导策略,立即剪枝被拒反应并在完整候选路线形成时调整优先级。该策略在固定调度下将验证可解性进一步提升至 71.1%,同时减少了提议调用与独立验证查询次数。
GAAC 提出一种无损 KV 缓存压缩系统,利用指数冗余在逐位保真下在 5 个模型上实现 1.405-1.407× 的 BF16 压缩。该方案在 64k token 上下文下将 NVIDIA DGX Spark 解码 attention 加速 1.19-1.27×,端到端 W4A16 解码加速 1.04-1.15×,并削减约 26% 常驻 KV 内存。
研究指出,LLM 在因果推理基准 CLadder 上的高分表现主要源于生成器内嵌的肤浅模式,而非真正具备复杂的形式因果推理能力。实验显示,随机森林等简单模型在 CLadder 生成的数据集上训练后同样表现优异。此外,直接删除对形式因果推理至关重要的核心文本后,商业 LLM 的表现几乎不受影响,证明其推理性能极具脆弱性。
研究团队提出面向 LLM 推理服务的负载感知模拟器 GAUSS,可预测特定工作负载、引擎和加速器下的首 token 延迟(TTFT)与 token 间延迟(TBT)完整分布及可持续请求率。该工具结合针对 prefill 和 decode 阶段校准的延迟曲面与排队模型,通过集成蒙特卡洛采样替代单 trace 回放,能有效捕捉尾部延迟并评估未部署的硬件与调度策略。
研究人员提出 SkillMem,将可复用技能表示为小型外部隐式记忆,直接用于隐空间多智能体推理。该方法在 6 个评测基准和 Qwen3(4B 至 14B 参数)上验证,单项技能仅需 9.6 KB 存储。面对 100 项技能库,SkillMem 较现有方案减少超 38x 存储,并实现最高 4.23x 端到端推理加速。
研究表明 LLM 能够捕捉数学问题结构并生成接近最优解,但可靠性随维度增加而下降,并常伴随数值误差与约束违背。在凸优化、分式规划等任务中,引入针对可行性与解质量反馈的迭代细化机制,可显著提升可靠性并扩展适用维度。鉴于固有数值与结构错误,LLM 难以作为独立优化器,需结合确定性数值验证构建混合方法。
研究人员提出多智能体框架 VerifiedLab,将科研记录转化为主动系统以加速下游应用与未来趋势预测。系统由负责规划、计算证据、起草与可靠性核查的多角色 AI 科学家组成,通过扩展推理期验证计算对记录逐项核验与推理。在钙钛矿太阳能电池实验中,VerifiedLab 成功复现了已知物理趋势,并提前预测出一年后报道的器件。
研究者推出科学发现评测基准 SciGame,将科学文献转换为结构化卡片,并构建成对的原始及量纲一致的反事实环境。该基准包含经典定律的历史集合与模型知识截止期后的时序集合,支持候选引导识别与开放式发现两种评估设定。对 5 款前沿模型的测试表明,熟悉先验在规律改变时会削弱表现,还原精确符号形式仍是当前的核心瓶颈。
在 3 个多标注者数据集的 LLM 实验中,引入社会人口学信息在个体冒犯性预测上的收益微弱且不一致,但在群体和总体层面能带来清晰的预测提升。研究将判断显式分解为整体基线与群体特定偏差,发现对文本与人口特征交互进行显式推理能显著提高基线和偏差估计精度,效果明显优于单纯的条件输入。
研究团队推出文档基准 LibStructBench,用于评估 AI 智能体精确重构测序文库结构与分子工作流程的能力。评测显示前沿智能体在分子状态表征和工作流连通性等精确重构上依然不可靠,且更换底层大语言模型比更换智能体框架带来更大的平均性能差异。此外,自主积累程序规则未能在留出集上带来平均分子工作流的提升。
研究团队推出 OpenFrontiers,包含 12,151 个开放研究问题的语料库以及 200 个经 Lean 4 形式化核验的数学问题评测基准。该基准在沙箱中通过双检查器核验证明,并在闭卷、冻结检索和联网条件下测试了 7 个 LLM 智能体。结果显示闭卷再发现极少,HQ-50 的 40 个已解问题中最多解决 7 个,联网成功则主要源于检索已发表题解。
ThinkJev 提出了一种基于单一混合思考模型的快慢双系统,无需额外训练即可为大语言模型的闭集类型化决策动态分配思考预算。在 5% 目标错误率设定下,Qwen3.5-27B 让快系统直接处理 24.5% 的决策(实际错误率 3.9%),其余任务在置信时提前停止思考,仅消耗 72% 思考 token 达到 81.6% 准确率,相关代码已公开。
研究人员针对多 Token 预测(MTP)训练中的梯度干扰缺陷,提出了无额外参数开销的 Soft-MTP。该方法利用梯度恢复技巧仅反向传播有益的 KL 自蒸馏信号,无缝兼容 DeepSeek 与 Meta 架构。在 167M 至 1.2B 参数规模下,Soft-MTP 带来了更低的困惑度和更快的投机解码,并在 1.2B 微调后提升了数学与代码推理能力。
研究提出多掩码选择性自蒸馏方法 MASS,用于提升模型的防泄漏推理能力。MASS 通过单个已验证解的多个独立掩码视图逼近多样参考分布,聚合互补的教师预测并自适应聚焦关键跨度,选择性传递可靠的 token 级别修正。在数学推理基准和多种模型族上,MASS 的性能持续优于强自蒸馏基线。
独立研究者发布 Metis-1.6 技术报告,推出从零训练的 Praxis(2.94B)和 Logos(10.23B)两款混合 Mamba-2 与注意力 MoE 模型。
研究人员提出 Native Predicate Neuron,通过一阶逻辑量化为标准深度架构引入可微符号推理能力。该神经元用单一可训练参数建模关系逻辑,在执行硬逻辑操作的同时保持反向传播可微,可有效逼近非连续函数。实验表明其在 CNN、RNN 和 Transformer 等架构上显著加速收敛并提升准确率,现已支持 Keras 与 PyTorch。
初创公司 Physical Superintelligence 宣布借助自研 AI 系统 Emmy,辅助攻克了开放量子问题目录中的 5 道量子信息开放难题。该系统将大模型子假设拆解与 Lean 形式化验证器结合,相关论文、形式化证明与代码已在 GitHub 开源。团队计划将该方法拓展至数据中心能效优化与深空探测工程。
埃默里大学博士后黄一峰与合作者提出并证明了 HJO 猜想,发现历史上的罗曼努金恒等式对应空间中的三叶结,并据此推导出无限族此前未知的恒等式。团队联合 Axiom Math 的数学专用 AI 系统 AxiomProver 协作探索证明思路,并将完整证明转译为 Lean 交互式定理证明语言进行机器验证。相关成果已作为预印本发表于 arXiv,为纽结理论、代数几何与数论的交叉研究开辟了新方向。
OpenAI 与 Anthropic 声称 AI 攻克了计算机科学领域一项已有 27 年历史的支柱难题。该结果是 OpenAI 提出的三项主要主张之一,并引发了关于共享 AI 生成成果的疑问。
COPE 是一种面向 MoE 卸载策略的仿真器,可在集成前为目标模型与硬件平台选出最佳卸载策略。它包含 Policy Matrix 和 Virtual Heterogeneous Machine 两大组件,通过解构设计空间衍生出 4 个新候选策略并估算性能。相比基线,COPE 将最快策略选择准确率提升 24%-100%,性能预测误差降低 1.7x 至 6.8x,策略实现工作量减少最多 74%。
Packed-SS 提出了一种自推测解码调度机制,通过让扩散起草器提前一步运行,在单次模型调用中同时完成草稿生成与验证。该方案将输入大小维持在推测宽度的线性级别,且完全保持目标模型的输出分布。在 Nemotron 3B/8B 和 SetDLM 1.7B 上的贪婪解码实验表明,Packed-SS 相比基线取得了更高的吞吐量与更短的平均耗时。
研究提出将多重重要性采样(MIS)引入引导投机推理(GSI),通过多个较小大语言模型集成生成推理草稿,并由大型基础模型与过程奖励模型联合验证。该方法在理论上证明了平衡启发式(balance heuristic)的最优性,并在保持总样本数不变的同时维持了 pass-at-N 性能,有效解决了单一起草模型支撑集未能覆盖目标分布时的失效问题。
研究提出一种在循环核心中共享 KV cache 的 LSTM 风格循环 Transformer,在 1024 宽度下参数量减少 40.4%,持久缓存集从 15 个降至 4 个。为解决并行训练与递归生成的缓存不匹配,该方法在训练后 10% 引入一致性损失,在 FineWeb 上消除了 81%–89% 的延续损失惩罚。在 1.05B–4.19B 训练 token 下,权重绑定的损失代价在低预算时更小。
研究者提出 k 近邻分类器 PAI-KNN,通过在推理时调整先验而非修改记忆,应对概念漂移与类别不平衡下的数据流分类任务。该方法维护简单的滑动窗口缓冲区,利用近期观测得出的类别先验估计动态调整决策规则。在多种合成数据流评测中,PAI-KNN 达到与 SOTA 相当的性能,在动态类别不平衡和概念漂移场景下表现尤为突出。
跨架构测试表明,在 2k 窗口下进行动态梯度更新,可使 softmax 注意力模型(Qwen3-1.7B、Gemma-4-E4B 等)loss 下降 5-8% 并超越 32k 冻结模型,在扩散模型上降幅达 8-20%。但混合 Gated-DeltaNet 模型提升不足 1%;且在 RULER 等基准中,该自适应仅改变风格与词汇而无法恢复检索,直接写入事实还会让 GSM8K 下降 36-38 分。
研究提出证据容许性接口 PIP-ToM,通过构建智能体专属证据库并校准假设评分,解决多模态心智理论(Multimodal ToM)中的视角泄露与来源混淆问题。该方法确保仅将智能体可访问、保留信息源且具备诊断性的证据纳入心理状态假设评估,同时保留底层贝叶斯推理过程。
研究提出一种借助大语言模型表示与度量数学论证的有向无环图框架,以最长前提路径定义深度,以不同祖先边数统计体积。该方法采用标准化提示词协议分离标注发现、确定性重算与审查辅助,支持跨论文分析定理共用和依赖社区。其应用包括辅助审查人类与 AI 生成证明中的疏漏或未检验条件,但度量仅针对特定表示而非数学内在难度。
最新研究针对 LLM 验证自然语言奥数证明的能力展开评测,构建了经专家批改的 USAMO 2025 解答数据集,并在 20 款模型上发现现有表现仍有较大提升空间。
研究人员提出大语言模型流式安全护栏 ADTGuard,在每个 token 释放前进行实时检测以防止有害内容提前暴露。该方案通过深度-时间安全动力学(DTSD)与因果深度路由器自适应融合跨层特征与时序风险累积,并能从回复级标签构建 token 级训练目标。测试表明,ADTGuard 仅需 16M 可训练参数即可达到或超越 SOTA 表现,同时维持竞争力的逐 token 延迟。
研究人员提出基于强化学习的认知对齐推理蒸馏框架 CARD,直接将大推理模型的解题轨迹转化为适配小模型认知的教学轨迹。该框架无需昂贵的重新采样,通过分布对齐奖励(匹配学生预测分布)与逻辑连贯奖励(减少误导性错误步骤)进行优化。实验表明,CARD 的域内蒸馏表现优于原始教师轨迹,并在分布外场景取得显著提升,相关代码已开源。