本体能捕获什么?人工策展、LLM 生成与数据派生本体作为知识图谱 LLM Agent 检验器的评估
一项研究对比评估了人工策展、LLM 生成及数据派生三种本体作为知识图谱 LLM Agent 检验器的表现。实验涵盖开源与闭源 Agent、公开图谱及近 $10^{9}$ 三元组的私有图谱,发现策展本体易与自身数据发生矛盾。在 UniProt 上,策展本体误报的正确答案多于其他两种本体,对真实 Agent 回答的报错精度仅略高于随机标记。
一项研究对比评估了人工策展、LLM 生成及数据派生三种本体作为知识图谱 LLM Agent 检验器的表现。实验涵盖开源与闭源 Agent、公开图谱及近 $10^{9}$ 三元组的私有图谱,发现策展本体易与自身数据发生矛盾。在 UniProt 上,策展本体误报的正确答案多于其他两种本体,对真实 Agent 回答的报错精度仅略高于随机标记。
研究人员推出 WebAnything 全自动框架,能够直接从真实 URL 重构出可执行且可重置的网页环境,无需人工针对单站点进行开发与维护。系统通过 Explorer-Builder 收集浏览器状态并结合独立验证器指导修复,共构建了涵盖 14 个领域、53 个类别的 244 个网站环境及 12,984 个任务。
推荐理由:原文提供了从真实网页全自动构建可执行训练环境的方案,读者可以据此了解探索与验证解耦对降低智能体数据构建成本的实际收益。
研究团队推出 OpenFrontiers,包含 12,151 个开放研究问题的语料库以及 200 个经 Lean 4 形式化核验的数学问题评测基准。该基准在沙箱中通过双检查器核验证明,并在闭卷、冻结检索和联网条件下测试了 7 个 LLM 智能体。结果显示闭卷再发现极少,HQ-50 的 40 个已解问题中最多解决 7 个,联网成功则主要源于检索已发表题解。
ThinkJev 提出了一种基于单一混合思考模型的快慢双系统,无需额外训练即可为大语言模型的闭集类型化决策动态分配思考预算。在 5% 目标错误率设定下,Qwen3.5-27B 让快系统直接处理 24.5% 的决策(实际错误率 3.9%),其余任务在置信时提前停止思考,仅消耗 72% 思考 token 达到 81.6% 准确率,相关代码已公开。
用于模型标定的摊销局部后验推理方法通过上下文邻近度加权观测似然,并结合条件归一化流逼近局部后验族,以解决模型偏差和上下文不确定性。在 Branin-Hoo 孪生实验中,局部化推理相比全局后验降低了综合预测误差;在单柱海洋模型的 k-$\epsilon$ 湍流封闭应用中,该方法相比确定性与全局后验标定进一步降低了温度和纬向流速误差。
LRMoE 是一种显存感知的 MoE 训练系统,通过在前向规划保留配额并在反向传播时重校准负载需求,解决显存受限节点的计算与通信瓶颈。系统通过容量感知路由与物理压缩减小通信载荷,有效降低反向通信、计算量和缓冲区显存开销。
研究人员针对多 Token 预测(MTP)训练中的梯度干扰缺陷,提出了无额外参数开销的 Soft-MTP。该方法利用梯度恢复技巧仅反向传播有益的 KL 自蒸馏信号,无缝兼容 DeepSeek 与 Meta 架构。在 167M 至 1.2B 参数规模下,Soft-MTP 带来了更低的困惑度和更快的投机解码,并在 1.2B 微调后提升了数学与代码推理能力。
研究人员构建了一种多智能体优化循环,并在 FuriosaAI RNGD NPU 上历时 12 天优化了 Gemma-4-12B 的三个解码算子。该循环通过自主建立 Rust DSL 文档知识、运行微基准测试与编译器合法性检查,结合设计树搜索探索算子实现。最终内核相比官方 baseline 取得 9.293x 几何平均加速比,相关提示词与测试工具均已开源。
大语言模型预训练后期的致命损失激增(time-bomb spikes)由 LM head 中快速增长的量化误差引发,降低数值精度会加速该不稳定现象。在 LM head 上将 AdamW 优化器替换为带动量的 SGD,可有效抑制 logit 增长,进而通过减少有限精度误差显著提升长周期预训练的稳定性。
研究人员提出基于流匹配的噪声感知生成算子 NAGO,用于在函数空间高效采样随机偏微分方程(SPDE)的不变量测度。该方法通过将源测度作为设计变量并优化协方差匹配,在 Matern 场消融实验中将高精度 RK4 步数从约 30 步降至 3-5 步,使神经 ODE 评估次数减少 6-10x。在三个代表性随机场基准上,NAGO 显著提升了少步谱精度与物理统计表现。
研究人员提出混合物理信息全纯神经网络(HPIHNN)框架,将解分解为谱方法计算的特解与仅在边界训练的 PIHNN 齐次解,用于求解非齐次偏微分方程。该方法免去对复杂几何划分网格,已成功应用于非齐次 Poisson、Stokes、双调和、线弹性和 Helmholtz 方程。数值实验表明,HPIHNN 相比标准 PINN 通常可取得更低的误差与更短的训练时间。
研究人员提出 ParaTTT(PTTT)算法,通过迭代优化内循环梯度轨迹,实现了任意深度非线性记忆测试时训练(TTT)层的并行化。在 4K context 下经过两次迭代,其内循环轨迹评估速度比 TTT-MLP 快 32x,340M 模型整体训练提速 4.9x。在 340M 和 1.3B 规模下,其模型表现匹配或超越 Gated DeltaNet 及 Mamba-2,且召回能力更优。
新研究提出一种因果校正可迁移性框架,结合工具变量与代理变量等方法,解决存在领域差异与未测量混杂时的离线强化学习难题。针对混杂情境老虎机与混杂马尔可夫决策过程,该研究分别构建了 CAT-CCB 和 CAT-CMDP 算法,在有界有限维线性类下取得 $\widetilde{\mathcal O}(N^{-1/2})$ 次优界保证。数值实验证明了该框架从多源异质混杂数据中学习目标域策略的有效性。
研究者提出 CRW-FTRL 算法,解决了强污染对抗线性老虎机此前未决的统计最优速率问题。该算法采用半径加权熵正则化与归一化核估计,在 $d$ 维 $K$ 动作空间高概率取得 $\tilde O(\sqrt{dT\log K} + dC)$ 遗憾界。用于紧凑动作集离散化可达 $\tilde O(d\sqrt{T} + dC)$ 遗憾界,在对数因子内匹配无污染速率与 $\Omega(dC)$ 下界。
研究者提出面向离线强化学习的结构化行为正则化方法(StBR),通过策略引发的状态结果分布而非单纯匹配动作分布来约束策略。该方法引入闭式隐空间散度作为真实结果分布散度的理论有界替代,在动态敏感区域自适应收紧行为约束,有效防止偏离离线数据集。实验表明,StBR 在多个离线强化学习基准上取得了优异性能。
HotPOT 是一种面向大规模 PDE 预训练的算子 Transformer,采用共享编码器结合异构神经-数值专家来建模方程演化。在 5 个 PDE 族和 6 种设定下,HotPOT 在微调前后的全部 24 组同规模对比中均优于 MoE-POT,rollout 误差平均降低 50.7%。其 17M 模型超越了更大规模的 MoE-POT,且性能优势可延伸至未见物理条件下的零样本预测。
新研究基于孟加拉国 35 个气象站 618,650 个站点日数据评估降雨预测,发现随机划分测试集严重夸大了模型能力。测试显示气候态基线对强降雨月分类准确率达 88.4%(AUC 0.950),时间划分下无机器学习模型能比其提升超 0.8 个百分点。滞后降雨特征对次日预测仅获 0.074 的微弱 Brier 技能得分且预测期超 2 天后失效;团队已开源防泄漏评测代码。
研究提出用于叠层成像的渐进耦合后验采样(PCPS)方法,利用扩散模型先验补偿减少扫描重叠带来的物理约束损失。该方法在高不确定性下广泛探索解空间,并在细化阶段保持更强的扩散引导一致性。在真实 X 射线叠层成像数据测试中,PCPS 相比传统迭代方法和现有扩散后验采样器持续提升了重建精度,在低重叠度下表现尤为显著。
球面朗之万动力学在结合退火与遍历平均后,能够从均匀随机初始化出发,在多项式时间内达到张量 PCA 的算法阈值并实现强恢复。张量 PCA 存在已知的信息计算鸿沟,此前马尔可夫链等局部算法被认为需要显著更高的信噪比且逊于全局算法。该成果证明局部马尔可夫链在无信息冷启动下同样能够达到算法阈值。
Convex-SKM-Net 提出一种凸约束满足层,利用残差与次梯度构建线性化半空间,并采用固定深度对偶 PGD 实现快速推理。实验显示其在 SOC-MPC 和凸 QCQP 基准上推理速度分别提升最高 144.3x 和 7.7x,测试输出均满足 10^-3 可行性容差。联合学习正定 mobility 还将仿射任务平均差距降低 22.4%,QCQP 平均目标差距仅为 0.012%。
研究提出一种基于梯度的对抗增强框架,通过随机梯度上升学习增强策略,迫使深度神经网络在不可学习数据(ULD)保护的图像上重新学习可泛化特征。该框架利用可微数据增强流程在多达 18 种技术中高效搜索子集以最大化替代模型分类损失,并结合感知与像素正则化保留图像语义。
在基于结构 MRI 分类阿尔茨海默病等神经影像任务中,由数据量异质站点(1 个大站点加小站点)组成的联邦学习表现优于同质联邦,在低数据量机制下尤为显著。引入大站点通常能实现更快的收敛速度与更高的最终准确率,性能接近集中式训练,并能更好地利用 ENIGMA 等大型联盟中普遍存在的小数据量站点。
针对 PCC 与 CCC 等不可分解相关性指标在 mini-batch 优化中的梯度偏差,B2P-Corr 框架利用轻量全局矩草图将目标转化为可分解伪损失。该框架提出计算复杂度为 $O(B)$ 的 B2P-EMA 与 B2P-U 两个变体,分别采用指数移动平均与跨批次 U-统计量实现渐进梯度跟踪。在 2 个合成与 3 个真实数据集上的实验表明,该方法以极低开销实现了更稳定的优化与更高相关性。
一项针对小型因果 Transformer 的预注册研究通过在不同 $\varepsilon$ 下重放相同梯度,直接检验了 Adam 优化器中 $\varepsilon$ 对罕见 token 嵌入行的固定轨迹解释。
研究团队提出了面向十亿级视频推荐系统的生态仿真框架,对约 42K 创作者及其 12 周内的互动进行建模,以评估基于预算多臂老虎机(MAB)的公平曝光分配策略。测试表明,结合保底播放目标与均等差距奖励的方案可确保创作者每周达成 90% 的观看目标,使小型创作者每周自然触达增长约 +33%,并实现 0.819 的 Jaccard 分配稳定性。
研究提出多掩码选择性自蒸馏方法 MASS,用于提升模型的防泄漏推理能力。MASS 通过单个已验证解的多个独立掩码视图逼近多样参考分布,聚合互补的教师预测并自适应聚焦关键跨度,选择性传递可靠的 token 级别修正。在数学推理基准和多种模型族上,MASS 的性能持续优于强自蒸馏基线。
新研究提出了“期望对数密度比”(ELDR)概念,证明许多使用密度比估计(DRE)的隐式密度问题本质属于 ELDR 任务,并证明了有限样本估计的理论局限。研究指出传统 DRE 方法不适用于 ELDR 估计,为此提出了一种允许收敛至积分分布样本参与训练的修改方案。Benchmark 测试显示,该方法有效改善了 ELDR 估计误差。
针对图神经网络(GNN)的研究提出了特征对抗攻击与防御的分离原理,证明最优特征扰动可解耦为仅依赖图结构和仅依赖权重的两项。基于此开发的无梯度攻击方法 SepAttack 相比 Nettack 与 IG-Attack 在目标设定下实现最高约 70x 速度提升,且跨架构迁移性极强。衍生出的对抗训练方法 SepAT 也在二元特征基准上提升了鲁棒性。
研究团队提出无人机故障检测与溯源框架 TGTV,通过结合时空图学习与大语言模型实现可解释诊断。该框架利用图神经网络捕捉传感器时空依赖,并结合连续时间 Shapley 归因生成结构化证据包以约束大模型诊断。在 ALFA 固定翼飞行数据集测试中,TGTV 窗口级 PR-AUC 达 0.976、F1 为 0.920,飞行级故障诊断 F1 达到 0.944。
研究人员提出越狱框架 Jailbreak Connectivity(JC),通过在图像空间优化连续对抗路径,实现面向多模态大语言模型(MLLM)的多样化、可迁移与通用越狱攻击。
研究人员提出因果 Transformer 架构 CADENCE,将交易视为 token 来预测企业现金流下次支付的金额与非参数化时间分布。相比生产环境 FFT 基线,CADENCE 将单日时间预测精度提升 93.3%,next-event F1 提升 6.7%。在端到端信贷评估中,它使固定损失率下的批准率提升 18.2%,固定批准率下的损失率降低 13.1%。
一项涵盖图像分类与时间序列预测的实证研究表明,深度学习性能常呈非高斯分布,仅凭平均性能无法预测鲁棒性。通过对 186 组实验进行 18,600 次运行测试,时间序列模型的不良表现离群值达图像分类的近 3 倍,尾部风险显著更高。研究指出模型规模未系统性提升鲁棒性,高风险场景选型必须综合评估分布与尾部风险。
针对积分概率度量(IPM)在罕见事件和代表性不足群体上边界宽松失效的问题,研究人员提出其非线性推广——积分概率边界(IPB)。IPB 能在极端情况下提供紧致边界,并配备了实用估计算法,适用于模型对齐、免评判性能评估与公平性度量。在实际生成建模任务中,IPB 对罕见群体公平性差距的估计精度比现有 SOTA 提升了 15 p.p.。
研究提出一种通过动作条件价值 critic 扩展 PPO 的方法,通过对比同状态下的备选动作进行相对动作信用分配,以帮助强化学习策略跳出局部极小值。该方法结合广义优势估计(GAE)与探索噪声边界,解决了状态价值 critic 缺乏动作区分度导致的策略停滞问题。在相同的训练预算与探索设置下,扩展算法成功完成了精密插孔(peg insertion)任务,而标准 PPO 则训练失败。
研究人员利用粗糙路径特征(rough path signatures)分析腕戴加速度计数据,成功区分了高级别胶质瘤(HGG)的稳定期与疾病进展期。该方法将 BrainWear 研究患者数据转化为步行路径片段,并通过 SigMMD 及患者个性化归一化量化行走行为变化,为神经肿瘤学提供了连续监测肿瘤进展的候选数字生物标志物。
针对随机种子和 prompt 导致模型指标波动的现象,该研究提出基于置信上限的有界校正规则,在 500 个模拟单元下将误差减半以上。研究发现 prompt 设置会反转模型排名(如 ARC 上 Qwen2-1.5B 与 Llama-3.2-3B 胜负易位),对此取平均可解决 16 次反转中的 15 次,且跨种子对齐 embedding 坐标将每维信度从 0.003 提高到 0.813。
研究表明当前地震基础模型本质上仍是特征提取器,改变自监督目标只会重新分配下游技能而非全面提升性能。团队基于 Mamba 架构与 3M 窗口数据测试了 9 种模型设计,发现增加掩码压力虽使少样本 P 波拾取精度提升 6.9 点,却导致少样本分类准确率下降 9.6 点。研究指出其核心瓶颈在于单一窗口目标无法覆盖跨事件的长时间尺度。
针对 Mistral-7B 与 Llama-3-8B 序列 LoRA 微调的研究表明,Logit 蒸馏相比监督重放能以更低代价维持模型安全对齐。在 Mistral 上,监督重放虽使 HarmBench 攻击成功率降低 51.1 分,但导致过度拒绝激增 53.4 分;Logit 蒸馏仅增加 5.1 分过度拒绝即实现 5.4 分攻击降幅。结合两种策略可兼顾安全性并缓解过度拒绝。
研究团队提出参数高效方法 PairFuse,通过轻量级逐层适配器将预训练全原子表征融合至几何潜在扩散模型中,以实现统一结合剂设计。该方法通过丰富分子块特征并将成对结构信息融入去噪器,在理论上保证了几何对称性并提升了注意力表达能力。在抗体、多肽和小分子结合剂设计基准测试中,PairFuse 表现均优于原扩散模型及现有表征融合基线。
AmpRatioNet 是直接处理心电图信号的 1D 卷积神经网络,用于非静脉植入式心律转复除颤器(ICD)的 24 小时动态筛查以降低过度感知风险。基于 89 名患者的 4,605 个标注片段测试,AmpRatioNet-SE 各项指标均表现最优,易过度感知片段的误差增幅比传统算法小最多 14 倍。该方案突破了 S-ICD 的单次 10 秒筛查限制,并为 EV-ICD 提供了可行筛查路径。