跳到正文

全部动态

今日 72 条
10月23日周五
  1. arXiv cs.LG29

    分布漂移下的极小化极大最优预测流匹配

    研究提出 DyProd-FM 算法,解决分布漂移环境下生成速度场须在当前数据到达前部署的预测流匹配问题。该算法在二进历史前缀上重新拟合流匹配并通过 sleeping Prod master 进行选择,无需预知漂移预算即可达到匹配下界的动态遗憾。理论证明其在相对速度风险变化与目标分布变化下均实现了极小化极大最优速率,且适用于非凸神经网络类别。

  2. arXiv cs.LG39

    通过知识重塑对抗持续领域自适应中的灾难性遗忘

    研究提出 Skill Schema Transport(SST)后训练框架,通过将新知识转译至模型已有技能空间实现程序复用,以解决持续领域自适应中的灾难性遗忘。在两个 3B 指令微调模型上,SST 将流式领域的平均最终性能提升 2.53 至 5.75 分。在 Qwen-3B MATH 流上,该方法将最大遗忘降幅从 42.41 分降至 7.10 分,并大幅恢复了 OOD 退化。

  3. arXiv cs.LG39

    RL-IF:追踪在线强化学习中的非局部训练数据影响

    研究提出了 RL-IF 框架,通过形式化轨迹级留一指标 RL-LOO,解决在线强化学习中跨多轮训练的非局部数据影响追踪问题。该方法将数据影响分解为优化效应与策略采样效应,并据此构建了实用的数据过滤方法 RINSE。在标准控制基准和 RLHF 毒性缓解实验中,RINSE 的训练效率和最终性能均优于标准 PPO 与局部归因基线。

  4. arXiv cs.LG36

    LEAN:通过损失工程调节模型权重敏感度分布以实现高效容错神经网络

    研究人员提出名为 LEAN 的复合正则化方法,通过系统性调节已训练模型的权重敏感度分布来大幅提升容错率并压缩存储。该方法在微调或训练最后 10 个 epoch 引入范围项与长尾项,在 ResNet-18、ResNet-50 等 9 个视觉模型上将敏感长尾缩减 5 至 13 倍,精度损失在 0.5 个点以内,并初步验证于 3 个小型语言模型。

  5. arXiv cs.LG37

    Looped Transformer 中截断反向传播会丢失多少梯度?

    一项针对 9 个循环语言模型的研究精确测量了截断反向传播丢弃的权重梯度,发现当循环数远超截断步数 k 时丢失比例基本保持稳定。在 Ouro 模型上保留 4 个循环中的 2 个仍会损失 81% 的最终输出梯度,但该丢失量在微调 300 步内下降了 0.07-0.22。同时,该指标未能证实比免测量的规则更能预测截断训练成本。

  6. arXiv cs.LG28

    神经网络损失景观中临界轨道的通用拓扑对称性指标

    研究者基于等变度理论提出了一种通用的拓扑对称性指标,用于系统解码神经网络损失景观中的对称性与临界轨道。该框架适用于任意网络架构,并包含处理退化临界轨道的方法,能够检测临界点的各向同性并量化相应的净拓扑贡献。文中通过 softplus MLP、Transformer 以及等变神经网络等多个案例展示了该指标的具体计算。

  7. arXiv cs.LG37

    高斯先验何时失效?强化学习微调下的潜在几何结构研究

    研究指出潜在扩散模型的标准 VAE 高斯先验在强化学习微调下存在结构性缺陷,多模态数据会导致不同模态在潜在空间重叠并引发模式崩塌。在丙氨酸二肽玻尔兹曼分布测试中,高斯先验 VAE 在 beta_c = 0.224 时发生崩塌,而模式追踪高斯混合先验在 0.00316 时才崩塌,差距达 71 倍。该放大效应源自学习到的策略,且模式分离先验能带来不可替代的覆盖率优势。

  8. arXiv cs.LG43

    基于 LLM 的智能体系统自动故障归因机制研究

    研究人员针对基于 LLM 的智能体系统自动故障归因(AFA)展开机制研究,发现模型存在“知晓却不说”(knows-but-won't-say gap)现象,即内部激活已编码定位故障步骤的信息,却无法通过直接提示词输出。基于此提出的 grafting 干预方法充分利用模型潜存知识,无需推理期真实标签,在多模型基准评测中表现持续优于直接提示词方法,代码已开放。

  9. arXiv cs.LG33

    迈向现实的变化模型:决策与动态系统的因果视角

    一项针对统计学习在分布偏移下泛化缺陷的研究,从因果机制视角提出了面向决策与动态系统的建模框架。研究第一部分重构了算法追索框架,提出更现实的成本函数并引入时间维度评估策略;第二部分将因果干预扩展至离散与连续随机过程,证明其平衡状态可关联至作为时序动态压缩表示的结构因果模型(SCM)。

  10. arXiv cs.LG46

    面向迭代式 ML 智能体测试套件的显式反馈契约

    研究提出一种面向迭代式 ML 智能体测试框架的显式反馈契约,仅在提交结果超出基于配对标准误计算的噪声阈值时释放验证分数。在无信号控制任务中,该契约将智能体虚报的增益从精确反馈下的 0.0157 降至 0.0033,并收窄了真实任务的验证与测试集差距。相比精确反馈耗尽 30 次提交预算,契约机制在 4 至 12 次后及早停止,避免了盲目追逐噪声。

  11. arXiv cs.LG34

    CALLIOPE:无需嵌入向量的 AI 使用隐私洞察框架

    研究人员提出支持差分隐私(DP)的框架 CALLIOPE,无需依赖向量嵌入聚类,全流程直接利用大语言模型发现 LLM 对话等语料的主题层次结构。实验表明,该框架在差分隐私设置下的表现优于现有的基于嵌入的方法,尤其在高隐私机制下具备更优的效用。

  12. arXiv cs.LG35

    ArcFlow:面向多种求解器预算训练流策略

    研究人员提出面向部署的算法 ArcFlow,支持在单一流策略中跨指定求解器步数范围训练,同时保持模型架构与部署成本不变。该方法结合了动作对齐监督、预算暴露与最差预算检查点选择。在 DM Control、机械臂操作与运动控制的 30 个任务中,ArcFlow 在 25 个任务上取得了 5 个流策略基准中最高的单步平均回报。

  13. arXiv cs.LG39

    先测量再分配:面向强化学习中 MCP Agent 的校准 Rollout 预算

    研究人员提出了基于奖励分歧的 Discord 评估方法与 BRACE 预算分配框架,用于优化 MCP 环境下工具调用语言模型的强化学习训练。BRACE 通过结合历史任务证据、成功率不确定性及相关奖励模型,在前瞻性预测混合奖励组后再分配生成预算。在 3 种 Qwen3-VL 参数规模下,BRACE 以更少的新训练 rollout 超越基准表现,并在 BFCL 与 NESTFUL 上取得领先。

  14. arXiv cs.LG32

    面向电力负荷预测的极低状态量化 Transformer

    研究人员针对电力负荷预测提出了基于 Transformer 的极低状态(3、5、7 和 16 状态)权重分配与量化方案。直接后训练量化使平均 NRMSE 增加 6.25 和 7.04 个百分点,而感知量化微调(QAT-FT)成功挽回了约 90.2% 和 94.5% 的性能损失。新引入的累积更新阈值法将离散状态转换减少约 77%–80%,为多值突触器件的低功耗边缘预测提供了紧凑实现路径。

  15. arXiv cs.LG36

    SDI:基于世界模型对比想象的探索与规划方法

    研究人员提出 SDI 方法,通过共享的 Actor 基准在世界模型同一状态下对比想象的动作序列,统一解决探索与动作采纳决策。当规划动作的预测优势超出基准变异性的固定倍数时执行规划,否则遵循 Actor,无需额外集成模型。在 Meta-World、Adroit 和 DM-Control 测试中,SDI 的任务平均分均高于基线,并在 18 个任务中的 15 个上达到或超过最强基线。

  16. arXiv cs.LG35

    用于大语言模型非结构化训练后剪枝的嵌套 LADDER 框架

    研究人员提出大语言模型非结构化训练后剪枝框架 LADDER,通过逐层损伤驱动评估与微调增量分配稀疏度,生成精确嵌套的掩码。在 OPT、Llama 和 Qwen 的 5 款模型及 10-90% 稀疏度测试中,该方法以 SparseGPT 为候选生成后端,在 70% 及以上高稀疏度下表现出显著鲁棒性。这种高稀疏度优势在后续蒸馏后仍得以保留,有效提升了零样本综合准确率。

  17. arXiv cs.LG38

    运动等变卷积 LSTM:当运动成为规范对称性

    研究者提出运动等变卷积 LSTM(MELSTM),将时序运动建模为规范对称性,利用速度模型作为规范场,在数学上证明对任意运动均具备等变性。在相同参数量下,MELSTM 在未来帧预测、动态数字分类及相机抖动动作识别任务中全面优于标准卷积 LSTM 及其流等变模型。该模型不仅准确率更高,还能泛化至更长周期和未见运动,且状态占用仅为流等变模型的一小部分。

  18. arXiv cs.LG36

    大宣称与微弱差距:GraphLLM 报告的性能提升能否经受住简单基线检验?

    新研究发现,用于文本属性图节点分类的简单基线仅落后 GraphLLM 最佳报告性能中位数 2.3 个百分点,在 24 项任务中有 15 项差距在 3 个百分点以内。虽然 GraphLLM 在 22 项可测任务中有 12 项仍显著更优,但代码审查发现诸多评测风险,包括测试集调参、测试标签用于训练,以及同方法报告差异最高达 12.5 个百分点。

  19. arXiv cs.LG27

    STAR-XPC:用于估算聚合物复合材料 X 射线透射率的 Set Transformer 模型

    STAR-XPC 是一种基于 Set Transformer 的神经网络模型,可在 1-3 毫秒内直接预测聚合物复合材料的 X 射线透射比。该模型利用 ChemBERTa 嵌入各成分,支持最多 11 种成分的混合物,推理速度较耗时数小时的 Monte Carlo 模拟提升数个数量级。在 4697 个配置的数据集上,其 R² 达 0.9988,中位数绝对百分比误差仅为 1.15%。

  20. arXiv cs.LG41

    SimHack:在 RL 训练前预测可检测奖励欺骗的爆发时机

    研究人员提出模拟器 SimHack,利用少量小规模参考 RL 运行学习训练动态,可在训练前预测奖励欺骗的爆发步数分布。在未见目标配方中,其预测爆发中位数的相对误差仅 11.3%,跨配方排序相关性达 0.85,并泛化至不同模型规模与学习率。通过筛选 RL 课程,它成功找到了使无欺骗训练时长延长 96.6% 的方案。

  21. arXiv cs.LG34

    基于机器学习的可扩展应力约束拓扑优化:超分辨率与同步优化方法

    研究者提出了同步神经拓扑优化(SNTO)框架,利用自定义神经网络联合优化状态、伴随和设计变量,以解决大规模应力约束拓扑优化计算成本高的问题。该方法结合连续伴随分析与自动微分,并通过硬件感知训练方案将设计域划分为子域分布在最多 8 块 GPU 上。实验显示,SNTO 相比传统有限元方法能生成边界更清晰、灰度区更小的超分辨率设计,并可扩展至包含多达 800 万个配置点的 3D 问题。

  22. arXiv cs.LG28

    基于 FPGA 与集成电路平台的强化学习硬件加速及系统级优化综述

    一篇新发表的综述系统分析了基于 FPGA 与集成电路(IC)平台的强化学习硬件加速及系统级优化进展,汇总了超过 100 项相关研究。文献梳理涵盖基于模型的马尔可夫决策过程、深度强化学习、Actor-Critic、策略梯度及多智能体方法,剖析算法向可重构与固定硬件的映射。评测维度覆盖资源利用率、延迟、吞吐量和功耗等指标,并总结了通用架构模式与未来研究方向。

  23. arXiv cs.LG26

    用于参数高效 PPG 心率估计的交互门控时频学习框架 TF-IG

    研究者提出了参数高效的交互门控时频学习框架 TF-IG,用于基于 PPG 信号的心率估计。该模型采用双分支架构分别提取时域脉搏形态与频域周期信息,并通过交互门控融合模块建模特征一致性与差异性。在 BIDMC 数据集测试中,TF-IG 仅包含 84.6K 参数量,取得了 1.227 BPM 的 MAE 与 2.060 BPM 的 RMSE,皮尔逊相关系数达 0.9934。

  24. arXiv cs.LG44

    KVLearn:分离式 LLM 推理系统中基于学习的 KV cache 保留框架

    研究人员提出基于学习的成本感知 KV cache 保留框架 KVLearn,用于优化分离式 LLM 推理系统中的缓存准入与保留决策。该框架通过前缀复用预测器、成本感知保留评分和自适应阈值控制器协同工作,无需修改模型权重。评测显示,KVLearn 相比 LRU-Pool 将端到端首字延迟(TTFT)降低最高 38%,并减少最高 53% 的节点间传输量,代码已开源。

  25. TechCrunch · AI71

    微软在《Science》公布多智能体医疗诊断系统 MAI-DxO,复杂病例模拟准确率达 83%

    微软在《Science》发表研究推出多智能体诊断系统 MAI-DxO,在模拟复杂病例诊断中取得 83% 的准确率,超过独立查阅资料全科医生的 36%。该系统通过协调多个 AI Agent 模拟医生会诊流程,在搭配 GPT-5.5 等前沿模型时表现最好,且对能力稍弱模型的提升更为显著。微软同时宣布正与梅奥诊所合作训练医疗基础模型,并在医院急诊等真实环境中开展临床实测。

  26. Science News65

    Paper2Agent 将学术论文转化为 AI 科研助手

    斯坦福大学研究团队推出 Paper2Agent 系统,可将附带代码、方法和数据的学术论文自动打包为 AI 智能体可调用的工具集。在 100 篇计算生物学论文的测试中,系统成功将 74 篇转化为可用工具集,其运行分析与问答的速度比直接使用原始论文和代码快 2 倍以上且准确率更高。该系统旨在标准化科研代码的复用流程,并支持检索相似论文智能体以辅助科研人员建立合作。

10月22日周四
  1. Google DeepMind65

    Google DeepMind 联合发布 10 米分辨率全球森林类型地图 ForTy

    Google DeepMind、Google Research 联合 WRI 与 IIASA 发布全球森林类型地图 ForTy 2020 及 2017 至 2025 年年度时间序列,以 10 米分辨率将全球土地划分为原始林、人工林等六类。

    推荐理由:该研究提供了十米分辨率区分天然林与人工林的监测基准,可用于追溯林地历史变化并辅助环境监管合规。

  2. 科学网38

    AI智能体“绿洲”发布,助力植物抗逆研究

    中国农业科学院农业基因组研究所等科研单位联合发布AI智能体“绿洲”,可自动查阅海量文献与科研数据,辅助植物抗逆研究。该系统通过多智能体协同模拟科研团队协作,自主完成资料检索、数据分析与结果核查。研究团队借助其已成功筛选出多个水稻耐盐候选基因,并实验验证了其中一个与耐盐响应相关,成果发表于《分子植物》。

  3. arXiv stat.ML25

    序贯稀疏高斯过程分位数回归方法

    研究人员提出了一种用于分位数回归的序贯稀疏高斯过程框架,通过诱导变量与拉普拉斯近似实现高效的后验推断与不确定性量化。该方法将预测不确定性分解为条件先验方差和后验诱导方差,驱动自适应的诱导输入填充与数据采集,将计算资源集中于主要不确定性来源并自适应控制模型复杂度。实验和船舶耐波性应用表明,该策略在有限仿真预算下优于预定义采集及文献中的重复采样方法。

  4. arXiv stat.ML24

    再生核巴拿赫空间中具有样本路径的高斯过程研究

    该研究探讨了高斯过程与再生核巴拿赫空间中高斯随机元之间的联系。作者证明了此类空间上弱二阶 Radon 概率测度的协方差算子由对称正定函数唯一确定,并在高斯情形下利用 $\gamma$-radonifying 算子表征了由协方差算子生成的函数。基于这些结果,研究进一步将 Driscoll 定理推广到了再生核巴拿赫空间环境。

  5. arXiv stat.ML33

    FRESH:基于信息几何将患者级模型校准至汇总证据

    研究人员提出了 FRESH 方法,通过信息几何将人群层面的汇总结果(如已发表的临床试验或注册库摘要)整合到基于患者级数据训练的生成模型中。该方法能在信息几何意义上对原始联合分布进行极小扰动,使再校准模型匹配目标人群的汇总统计数据,生成患者级预测或用于后训练更新。该技术可应用于单臂临床试验背景分析、试验设计模拟及上市疗法有效性对比。

  6. arXiv stat.ML34

    用于学习稳定二值表征的复合激活函数

    研究人员提出重尾激活函数(HTAF),作为 Heaviside 函数的平滑近似,以实现二值表征的稳定梯度优化训练。该函数由 Sigmoid 与双曲正切复合而成,在零输入附近保留较大梯度且尾部衰减更慢,能稳定训练脉冲神经网络与二值神经网络。基于此构建的隐式概念瓶颈模型(ICBM)实现了特征离散化,在图像数据集上取得媲美或优于标准模型的预测表现。

  7. arXiv stat.ML37

    具备随时有效保证的 AI 系统自适应审查

    研究者提出了一种具备随时有效保证的 AI 系统自适应审查框架,利用安全随时有效推断(SAVI)与同步 e-processes 构建对决假设检验。该框架将审计过程形式化为通过下注进行检验,通过审计即可在理论上证明系统具备全局鲁棒性。实验表明,该方法能严格控制随时有效的 I 类错误,性能优于预设测试,有时仅需 20 个样本即可得出严谨结论。

  8. arXiv stat.ML31

    面向标签噪声分类的模型无关信息迁移与融合

    针对大规模含噪标注数据与少量专家验证干净数据共存的场景,该研究提出了一种通用的模型无关非参数分类框架。该方法利用小规模干净数据集提纯大规模含噪数据,并精细处理剩余的模糊样本,克服了传统方法对参数相似性假设的依赖。该框架拥有严谨的统计理论支撑,已在模拟实验及肺炎诊断医疗影像分析中验证了实际性能。

  9. arXiv stat.ML37

    MoE Transformer 的泛化与缩放定律研究

    研究者提出了针对 MoE Transformer 的泛化与缩放理论,将每个输入的激活容量与路由组合机制有效解耦。通过推导覆盖数界并结合经验风险最小化(ERM)分析,证明其逼近与估计误差权衡在计入激活参数后与稠密网络一致,并证明误差可通过扩展激活容量或增加专家数量来降低。该研究据此推导出了涵盖模型规模、数据量及计算最优权衡的神经缩放定律。

  10. arXiv stat.ML25

    二值语义分割在模拟类别不平衡与标签偏移下的主动学习研究

    研究人员针对机器视觉中缺陷样本稀缺与存储受限导致的偏差问题,提出了一套基于两个开源数据集的受控可复现实验方案,用于模拟不同程度的类别不平衡与标签偏移。实验对比了随机采样、基于熵的选择、核心集选择以及感知不平衡的 galaxy 采样四种主动学习策略。结果表明,基于熵和核心集的选择在高不平衡数据下依然优于随机采样,并量化了严重标签偏移带来的效率损失。

  11. arXiv stat.ML28

    协变量辅助图匹配研究

    针对含有节点和边协变量的带种子图匹配问题,该研究提出了基于二次分配问题(QAP)的全局方法和基于种子邻域的可扩展局部方法。该框架支持通过广义线性模型至机器学习方法整合协变量,并推导了广义线性模型的估计误差率及 QAP 精确恢复真实对应关系的充分条件。仿真实验与学术谱系网络匹配均证实引入协变量能显著提升匹配表现。

  12. arXiv stat.ML33

    用于可解释多变量时间序列异常检测的结构化时序因果框架 OracleAD

    研究人员提出了用于多变量时间序列异常检测的无监督框架 OracleAD。该方法将每个变量的历史序列编码为因果嵌入向量以联合预测当前时间点并重构输入窗口,并通过自注意力机制将其映射到共享潜空间并与代表正常关系的稳定潜在结构(SLS)对齐。系统基于预测误差和 SLS 偏离度实现双重评分与细粒度归因,在多个真实数据集和评估协议上达到 SOTA 水平。