跳到正文

#论文/研究

今日 55 条
10月26日周一
  1. arXiv stat.ML38

    学会被监控:CoT 可监控性的因果边界与干预感知后训练方法

    针对大语言模型思维链(CoT)监控评估指标 $\mathsf{TPR_{mc}}$ 高估因果检出率的问题,新研究推导出互补下限以建立更严格的评估框架。研究团队进一步构建了对照-干预任务训练集,设计出基于离策略自蒸馏、强化学习和在策略自蒸馏的三种后训练方法。实验表明三种方法在多种配置下均普遍提升了模型的 CoT 可监控性,相关代码已开源。

  2. arXiv stat.ML26

    实现较弱忠实性:因果恢复、多义性与计算极限

    针对多变量联合相关但单变量独立导致因果连接丢弃的问题,研究提出通过邻接保护与保留备选有向图解释实现较弱忠实性。在带噪 XOR 实验(N=10,000)中,重新激活与保护结合将父节点对恢复率从 0/20 提升至 20/20,弱信号下族保留率达 48/50。然而该方法会引入伪边且面临算力瓶颈,12 与 20 变量的 400 次搜索在截止预算内均未完成。

  3. arXiv stat.ML35

    低秩自适应(LoRA)的奇异几何学

    一项最新研究基于奇异学习理论的实对数正则阈值(RLCT),分析了低秩自适应(LoRA)的学习复杂度与奇异几何特性。研究揭示 LoRA 在局部线性化下受前向-反向协方差控制,并提出了曲率校正的多温度 RLCT 估计器。在多层感知机与 Transformer 架构上的实验表明,该几何特性具有强烈的层依赖性。

  4. arXiv stat.ML31

    基于 Sticky 分段确定性马尔可夫过程的稀疏贝叶斯神经网络

    新研究利用基于分段确定性马尔可夫过程(PDMP)的现代蒙特卡洛方法,实现了对贝叶斯神经网络(BNN)后验分布的渐近精确采样。通过引入 sticky 机制与 spike-and-slab 先验,采样器能在采样过程中直接将权重精确置零,统一处理剪枝与参数不确定性。实验显示,以此方式采样的稀疏 BNN 比稠密网络对输入噪声更具鲁棒性。

  5. arXiv stat.ML27

    任务转移下的得分保留持续 Lasso

    研究者提出得分保留持续 Lasso(SP-CL),通过保留历史平方损失得分将稀疏估计与状态传递解耦,解决持续学习中的正则化偏差累积问题。在平方损失下,其累积估计量可精确恢复全历史 Lasso 极小值点,并在任务系数相同时继承全历史稀疏收敛速率。针对相关任务系数,该方法采用当前任务正则化修正达到离线源辅助速率,并通过仿真验证了理论分析。

  6. arXiv stat.ML26

    面向单位立方体的球面线性贝叶斯优化采集函数

    研究人员针对单位立方体决策区域提出一种新型贝叶斯优化采集函数,有效解决了球面线性贝叶斯优化的采集子问题复杂度。该采集函数支持全局优化,运行时间显著少于传统多起点拟牛顿法,同时保持或提升了优化性能。其单次评估精度可媲美基于高斯过程的贝叶斯优化,在中低计算强度的黑盒任务上具备更优的单位耗时精度。

  7. arXiv stat.ML34

    Batched NN 4D-Var:面向综合预报系统的高性能混合模型框架

    Batched NN 4D-Var 提出了一种面向欧洲中期天气预报中心(ECMWF)综合预报系统(IFS)的混合模型框架,用于在线学习依赖状态的模型误差修正。该框架受 mini-batch 随机优化启发,通过在多个同化窗口间平均参数增量,解决了顺序在线学习虽在训练期减少超 10% 误差但无法泛化的问题。实验表明,该批处理方法在样本外持续提升预报能力,并能加速收敛且保留真实预报变率。

  8. arXiv stat.ML25

    不可识别区域附近的精确全局极小极大风险

    针对冗余参数在子模型上不可识别的高阶展开模型,该研究给出了最大临界路径极小极大风险等于全空间精确渐近极小极大风险的充分条件。所构建的估计量结合校准估计与经验恢复特征,在未知坐标下一致达到由有界正态决策问题表达的首项常数。该理论在含未知方差的高斯 Logistic 误差变量回归中求得五阶全局系数风险,并在复制网络模型中确定了六阶全局边对比风险。

  9. arXiv stat.ML26

    无限记忆链的经验集中不等式

    该研究将经验集中不等式从平稳马尔可夫链推广至具有无限记忆的平稳链,解决了时间序列集中不等式因包含未知量而难以直接用作置信界的问题。在可求和 Wasserstein 收缩条件下,研究给出了有界差分不等式,并支持仅从单条轨迹估计依赖系数。配合固定乘法安全因子,该方法无需先验常数即可完全自适应,所得经验置信界渐近上与理论界同样紧致。

  10. arXiv stat.ML28

    异质客户端下的联邦非参数回归

    Nadaraya-Watson 联邦非参数回归框架使异质客户端仅需传输局部核摘要,服务端无需集中原始数据即可构建协变量密度加权的联邦估计器。客户端通过结合局部与联邦预测器降低平方预测损失,该框架确立了点态推断并实现了跨客户端的同时推断。研究还在 Kullback-Leibler 与 L2 扰动模型下评估了鲁棒性与最不利回归方向。

  11. arXiv stat.ML36

    面向 Graphon 变分问题的隐式神经表征

    研究人员提出基于隐式神经网络的探索框架,通过梯度下降求解图极限(Graphon)的变分优化问题。该方法在广义 Turán 问题中无需人工干预即复现了已知最优解,并发现了未曾报道的极值候选结构。在 Erdős-Rényi 随机图大偏差问题中,其在三角形图上界区间超越了 Lubetzky 和 Zhao 的已知最佳构造。

  12. arXiv stat.ML31

    条件分布可学习性的组合刻画

    该研究针对映射到有限空间概率分布的函数类,给出了 PAC 可学习性的组合刻画。研究提出了 fat_\gamma Natarajan 维度,证明其在所有正尺度下的有限性是该类函数可学习的充要条件,并引入 fat_\gamma Graph 维度给出了等价刻画。此外,分布值函数类可学习当且仅当其每个坐标类在概率概念模型中均可学习。

  13. arXiv stat.ML34

    大型残差网络的早期学习动态研究

    大型非线性残差网络在高输入维度极限下的早期训练中仅能学习输入的线性函数,更高阶的单项式特征会被严重抑制并在极限状态下完全消失。该研究通过图解法解析了梯度下降数步后的网络输出与隐藏表示,指出 ResNet 的平均场极限可能过于僵化而不足以解释特征学习机制,同时推导并数值验证了学习率在不同数据规模和输入维度下的超参数迁移表现。

  14. arXiv stat.ML31

    自回归物理信息神经算子代理与 4D 地震-生产联合贝叶斯历史拟合

    研究团队提出一种基于自回归物理信息神经算子(PINO)代理模型的贝叶斯历史拟合框架,实现了生产数据与 4D 地震数据的联合同化。在 100,188 个网格单元的测试模型中,该代理模型单次推演仅需 0.579 s,实现约 2500x 加速,并将 190 个成员、10 次迭代的联合反演控制在 1 个 GPU 小时内。

10月24日周六
  1. arXiv cs.AI34

    GuideEvolve:结合专家指导与 3Ts 机制的自演化智能体框架

    自演化智能体框架 GuideEvolve 结合专家评估指导与 3Ts 自主调节机制,通过快慢思考、时序回滚与自适应终止优化认知与演化稳定性。评测显示,该框架在 MGSM 和 MMLU 上的准确率分别达 89.8% 和 89.1%,结果方差降低 25-59%。此外,其演化成功率达 100%,优化迭代次数减少约 50%,显著提升了生产部署表现。

  2. arXiv cs.AI35

    TIDE:基于模型行为的树归纳细粒度诊断评测

    研究团队提出细粒度诊断评测方法 TIDE,通过行为驱动的决策树归纳,利用 LLM 裁判与信息增益递归构建分层能力树。在 4 个 benchmark 和 5 个模型的实验中,TIDE 揭示了总分无法体现的细粒度能力差异:Claude Opus 4.6 在微观经济市场推理达 100%(GPT-5.4 为 83.3%),但在合同法推理上以 77.8% 落后于 GPT-5.4 的 88.9%。

  3. arXiv cs.AI40

    选择还是弃权?System One 决策模型、LLM 与缺失法律依据

    一项研究对比了 System One 决策模型与生成式 LLM 在法律判例缺失时的弃权表现。在扩展的 CaseHOLD 测试中,当缺乏正确裁决时,生成式 LLM 在 38%-86% 的项目中仍会强行作答,而最谨慎的决策模型仅为 30%。在标准 CaseHOLD 上,决策模型以 1/55 的成本达到了与最佳生成式 LLM 相当的准确率(88.1% 对 88.2%),二者配合可将错误引用减半。

  4. arXiv cs.AI40

    ToM2Vec:面向多智能体协作的连续心智理论 Token

    研究团队提出 ToM2Vec,通过固定预算的连续推理 token 在隐空间构建心智理论(ToM),以提升 LLM 智能体的多智能体协作能力。在 Overcooked-AI、Hanabi 等协作与对抗场景中,该方法显著优于基线,并成功泛化至训练未见过的闭源模型 GPT-5.4。该隐式 token 还能直接提升智能体对搭档信念、意图和下一步动作的判断能力。

  5. arXiv cs.AI35

    COMET:面向人类监督 AI 安全系统的协同多层运行时监控框架

    研究人员提出面向人类监督 AI 安全系统的协同多层运行时监控框架 COMET,整合信号完整性、物理一致性与能力边界监控输出并映射为交通灯式诊断展示。在压缩空气泄漏检测评估中,COMET 在约 1% 标称虚警率下,将协变量偏移及四分之三传感器故障中的误信错误率降至 0。该框架能将匿名警报转化为具体故障诊断,有效解决了裸 AI 系统的静默失效问题。

  6. arXiv cs.AI47

    真实 PMID 与错误论文:生物医学主张验证智能体的架构设计研究

    针对生物医学主张验证智能体的对照研究表明,检索而非推理是主要瓶颈,闭卷模型引用的真实 PubMed ID 中仅 3/327 相关。自主编写 PubMed 查询的 ReAct 智能体将金标准召回率提升 3 倍并实现 62% 准确率,引用相关率达 67%。直接提供金标准摘要时准确率达 79-86%,证明仅验证引用存在并不安全;相关代码已开源。

  7. arXiv cs.AI32

    从关联到决策价值:测试 VLA 语料库选择中的配对指令依赖性

    新研究测试了配对指令依赖性在视觉-语言-动作(VLA)语料库选择中的决策价值。在 136 个四足导航语料库实验中,该指标虽降低了平均绝对预测误差,但 primary proper-log-score 增量仅 +0.059 nats,且在预设 top-20% 对比中未带来增量选择增益。结果表明反事实响应结构被压缩为无符号统计量时,所提供的实际决策价值较为有限。

  8. arXiv cs.AI41

    基于路径多样性的大语言模型并行思考

    针对强化学习下大语言模型并行思考易陷入路径模式坍塌的问题,研究提出多样化并行思考(DPT)强化学习方法。该方法通过惩罚并行推理路径的前缀相似度来奖励差异化策略,进而实现对推理空间的更全面探索。在多个推理 benchmark 上的实验显示,DPT 超越以往基线并达到 SOTA 表现,相关代码已开源。

  9. arXiv cs.AI26

    Order of the Sinking Star 非局部水晶交换谜题的 93 步精确解

    研究人员针对游戏 Order of the Sinking Star 在 11*11 棋盘上的非局部水晶交换谜题,通过代价有界的精确广度优先搜索给出了 93 步的最优解,排除了所有更短可能。该搜索结合可采纳启发式与剪枝策略,计算中保留了 605,349,215 个占位集合与 1,863,925,136 个状态。研究团队公开了源代码和复现程序,完成了该谜题实例的计算机辅助证明。

  10. arXiv cs.AI33

    RubricOpt:偏好优化中语义评分准则的自我修订

    RubricOpt 框架允许策略模型在偏好优化中自我修订行为准则,通过诊断自身输出保留已覆盖要求,并针对未解决的常见失败编辑准则条款。该准则在保持偏好对与目标固定的情况下指导 DPO 训练,并在评估阶段移除。在能力和开放式生成基准测试中,准则调节相比常规 DPO 能改善结果,但在不同模型与数据集上收益存在差异。

  11. arXiv cs.AI37

    PreCoMem:面向自进化长程对话智能体的预测认知记忆

    研究人员提出长程对话智能体记忆整合框架 PreCoMem,通过预测编码将记忆表示为置信度加权信念,并基于 Effective Surprisal 信号在 MAINTAIN、PROFILE 与 CORRECT 机制间调度更新。该框架在 LoCoMo、LongMemEval-S 和 PersonaMem-v2 上取得 SOTA 表现,在新基准 DiMoBench 上兼顾抗噪与信念漂移适应,代码已开源。

  12. arXiv cs.AI43

    事件而非像素:世界模型为何会估错回报

    研究发现世界模型的回报估计错误主要源于关键事件转换而非像素渲染质量,仅修复获得奖励或回合结束的转换即可消除中位数 70% 的回报误差。在 Atari-100k 的 44 组测试中,事件补丁在 39 组中显著优于随机修补且中位数增益达 +44 个百分点,而按 MSE 等像素指标修补效果甚至不如随机对照。该结构不仅提升了规划排序,还能指导扩散模型定向修复失效。

  13. arXiv cs.AI45

    局面同形劫规则下的围棋求解:可靠证明转移与新棋盘博弈值

    研究者提出并行证明数求解器 Sanko,通过证明转移定理实现了局面同形劫(PSK)规则下的围棋高效求解。Sanko 在 6 线程下仅用 16 分钟便求解 5x5 围棋(此前 SOTA 需 5.25 小时),192 线程下只需约 1.5 分钟。该成果还首次确定了另外 23 个棋盘的 PSK 博弈值(含 11 个此前未解棋盘),并开源了求解器源码及复现数据。

  14. arXiv cs.AI42

    从提示词到后验:LLM 智能体能否在上下文中执行贝叶斯推理?

    研究团队系统评测了 LLM 智能体的贝叶斯推理能力,发现模型在上下文更新信念时普遍违背贝叶斯法则。但当模型配备推理能力与代码执行功能后表现大幅提升,甚至能紧密逼近解析不可解的后验分布。该评测表明,结合合适工具的现有 LLM 已可支持科学发现中的复杂信念更新,从而提升 AI 科研效率。

  15. arXiv cs.AI42

    AgentMonopoly:LLM 智能体的行为模式与角色控制

    研究团队开源了 AgentMonopoly 评测环境,评估来自 4 个模型家族共 8 种尺寸的 LLM 智能体在博弈中的策略与角色控制效果。测试显示各模型在交易频率、租金免除及资产管理上差异显著,且更大尺寸的模型并未表现出持续的胜率优势。角色提示词虽能改变智能体的用词与部分动作,但无法保证其所有决策均与角色设定保持一致。

  16. arXiv cs.AI35

    基于 LLM 的外生世界模型用于动态调度

    研究提出后状态世界模型规划框架 AWMP,利用预训练 LLM 作为外生世界模型预测未来作业到达以优化动态调度。该框架结合惊奇触发刷新机制与在线残差自校准,仅在实际到达显著偏离预测时查询 LLM 并自适应校正。相比 8 种经典优先级调度规则,AWMP 在动态与柔性作业车间基准上分别将加权拖期降低 6-21% 和 22-46%。

  17. arXiv cs.AI52

    大语言模型在高风险决策支持中的收益与损失框架效应研究

    研究团队推出包含 2,880 个提示词的 FrameBench-HPS 基准,评估七款大语言模型在医疗、金融等高风险场景中的收益与损失框架效应。测试发现互补的得失表述使 32.4% 完整组别的推荐类别发生改变,多数变动涉及不确定性而非直接反转。实验表明概率规范化能大幅降低框架敏感度,为改善大语言模型决策支持的一致性提供了切实可行的方案。

  18. arXiv cs.AI32

    从评分到安全集合:面向药物推荐的精确安全约束解码

    针对药物推荐中的药物相互作用(DDI)约束,研究者提出利用混合整数线性规划进行精确全局解码,直接联合选择最高分且符合安全约束的药物集合。在 MIMIC-III 数据集及 FLAME 冻结模型评分测试中,该方法在严格 DDI 约束下测试集 Jaccard 相似度比最强局部修复基线高出 +0.0064,能保留更多真阳性并有效减少假阳性药物。

  19. arXiv cs.AI45

    当存在多个正确选项时:Jev 与其他决策模型的非对称概率分配

    新研究评估 Jev、Liquid d1 和 GPT-6 Luna Decisions 三款决策模型发现,在多正确选项场景下模型存在严重的非对称概率分配问题。即使模型将所有正确选项排在干扰项之前,仍有 28% 到 50% 的列表中至少有一个正确选项的概率低于均匀概率 1/n。当提供 5 个相同正确选项副本时,平均概率差距达 17 至 79 个百分点,表明设定概率阈值无法准确识别出全部正确选项。

  20. arXiv cs.AI34

    TeachBack:面向在线自蒸馏的双向偏好优化框架

    研究人员提出 TeachBack 框架,通过双向偏好优化解决在线自蒸馏(OPSD)中特权教师模型过度依赖参考答案、缺少推导与纠错过程的问题。该框架通过调控提示词中参考推理后缀的长度与风格促使教师自主解题,并利用成对偏好目标实现教师与学生轨迹的双向优化互促。实验表明,TeachBack 在数学和逻辑推理任务上的表现持续优于现有在线自蒸馏方法及相关基准。

  21. arXiv cs.AI40

    基于陷阱预判世界模型 PAWM 引导黑盒 LLM 智能体

    研究者提出陷阱预判世界模型(PAWM),能在出现潜在陷阱时选择性介入并预测即将发生的失败,从而引导黑盒 LLM 智能体规避错误。PAWM 采用合成陷阱数据进行 SFT 训练,随后通过与黑盒 LLM 协同的 GRPO 进一步优化。评测显示,PAWM 使 Claude Sonnet 4.5 在 ScienceWorld 和 WebArena-Lite 上的表现分别提升 24.3% 和 7.7%。