RL-IF:追踪在线强化学习中的非局部训练数据影响
研究提出了 RL-IF 框架,通过形式化轨迹级留一指标 RL-LOO,解决在线强化学习中跨多轮训练的非局部数据影响追踪问题。该方法将数据影响分解为优化效应与策略采样效应,并据此构建了实用的数据过滤方法 RINSE。在标准控制基准和 RLHF 毒性缓解实验中,RINSE 的训练效率和最终性能均优于标准 PPO 与局部归因基线。
研究提出了 RL-IF 框架,通过形式化轨迹级留一指标 RL-LOO,解决在线强化学习中跨多轮训练的非局部数据影响追踪问题。该方法将数据影响分解为优化效应与策略采样效应,并据此构建了实用的数据过滤方法 RINSE。在标准控制基准和 RLHF 毒性缓解实验中,RINSE 的训练效率和最终性能均优于标准 PPO 与局部归因基线。
研究人员提出名为 LEAN 的复合正则化方法,通过系统性调节已训练模型的权重敏感度分布来大幅提升容错率并压缩存储。该方法在微调或训练最后 10 个 epoch 引入范围项与长尾项,在 ResNet-18、ResNet-50 等 9 个视觉模型上将敏感长尾缩减 5 至 13 倍,精度损失在 0.5 个点以内,并初步验证于 3 个小型语言模型。
一项针对 9 个循环语言模型的研究精确测量了截断反向传播丢弃的权重梯度,发现当循环数远超截断步数 k 时丢失比例基本保持稳定。在 Ouro 模型上保留 4 个循环中的 2 个仍会损失 81% 的最终输出梯度,但该丢失量在微调 300 步内下降了 0.07-0.22。同时,该指标未能证实比免测量的规则更能预测截断训练成本。
研究者基于等变度理论提出了一种通用的拓扑对称性指标,用于系统解码神经网络损失景观中的对称性与临界轨道。该框架适用于任意网络架构,并包含处理退化临界轨道的方法,能够检测临界点的各向同性并量化相应的净拓扑贡献。文中通过 softplus MLP、Transformer 以及等变神经网络等多个案例展示了该指标的具体计算。
研究指出潜在扩散模型的标准 VAE 高斯先验在强化学习微调下存在结构性缺陷,多模态数据会导致不同模态在潜在空间重叠并引发模式崩塌。在丙氨酸二肽玻尔兹曼分布测试中,高斯先验 VAE 在 beta_c = 0.224 时发生崩塌,而模式追踪高斯混合先验在 0.00316 时才崩塌,差距达 71 倍。该放大效应源自学习到的策略,且模式分离先验能带来不可替代的覆盖率优势。
研究人员针对基于 LLM 的智能体系统自动故障归因(AFA)展开机制研究,发现模型存在“知晓却不说”(knows-but-won't-say gap)现象,即内部激活已编码定位故障步骤的信息,却无法通过直接提示词输出。基于此提出的 grafting 干预方法充分利用模型潜存知识,无需推理期真实标签,在多模型基准评测中表现持续优于直接提示词方法,代码已开放。
一项针对统计学习在分布偏移下泛化缺陷的研究,从因果机制视角提出了面向决策与动态系统的建模框架。研究第一部分重构了算法追索框架,提出更现实的成本函数并引入时间维度评估策略;第二部分将因果干预扩展至离散与连续随机过程,证明其平衡状态可关联至作为时序动态压缩表示的结构因果模型(SCM)。
研究提出一种面向迭代式 ML 智能体测试框架的显式反馈契约,仅在提交结果超出基于配对标准误计算的噪声阈值时释放验证分数。在无信号控制任务中,该契约将智能体虚报的增益从精确反馈下的 0.0157 降至 0.0033,并收窄了真实任务的验证与测试集差距。相比精确反馈耗尽 30 次提交预算,契约机制在 4 至 12 次后及早停止,避免了盲目追逐噪声。
研究人员提出支持差分隐私(DP)的框架 CALLIOPE,无需依赖向量嵌入聚类,全流程直接利用大语言模型发现 LLM 对话等语料的主题层次结构。实验表明,该框架在差分隐私设置下的表现优于现有的基于嵌入的方法,尤其在高隐私机制下具备更优的效用。
研究人员提出面向部署的算法 ArcFlow,支持在单一流策略中跨指定求解器步数范围训练,同时保持模型架构与部署成本不变。该方法结合了动作对齐监督、预算暴露与最差预算检查点选择。在 DM Control、机械臂操作与运动控制的 30 个任务中,ArcFlow 在 25 个任务上取得了 5 个流策略基准中最高的单步平均回报。
研究人员提出了基于奖励分歧的 Discord 评估方法与 BRACE 预算分配框架,用于优化 MCP 环境下工具调用语言模型的强化学习训练。BRACE 通过结合历史任务证据、成功率不确定性及相关奖励模型,在前瞻性预测混合奖励组后再分配生成预算。在 3 种 Qwen3-VL 参数规模下,BRACE 以更少的新训练 rollout 超越基准表现,并在 BFCL 与 NESTFUL 上取得领先。
研究人员针对电力负荷预测提出了基于 Transformer 的极低状态(3、5、7 和 16 状态)权重分配与量化方案。直接后训练量化使平均 NRMSE 增加 6.25 和 7.04 个百分点,而感知量化微调(QAT-FT)成功挽回了约 90.2% 和 94.5% 的性能损失。新引入的累积更新阈值法将离散状态转换减少约 77%–80%,为多值突触器件的低功耗边缘预测提供了紧凑实现路径。
研究人员提出 SDI 方法,通过共享的 Actor 基准在世界模型同一状态下对比想象的动作序列,统一解决探索与动作采纳决策。当规划动作的预测优势超出基准变异性的固定倍数时执行规划,否则遵循 Actor,无需额外集成模型。在 Meta-World、Adroit 和 DM-Control 测试中,SDI 的任务平均分均高于基线,并在 18 个任务中的 15 个上达到或超过最强基线。
研究人员提出大语言模型非结构化训练后剪枝框架 LADDER,通过逐层损伤驱动评估与微调增量分配稀疏度,生成精确嵌套的掩码。在 OPT、Llama 和 Qwen 的 5 款模型及 10-90% 稀疏度测试中,该方法以 SparseGPT 为候选生成后端,在 70% 及以上高稀疏度下表现出显著鲁棒性。这种高稀疏度优势在后续蒸馏后仍得以保留,有效提升了零样本综合准确率。
研究者提出运动等变卷积 LSTM(MELSTM),将时序运动建模为规范对称性,利用速度模型作为规范场,在数学上证明对任意运动均具备等变性。在相同参数量下,MELSTM 在未来帧预测、动态数字分类及相机抖动动作识别任务中全面优于标准卷积 LSTM 及其流等变模型。该模型不仅准确率更高,还能泛化至更长周期和未见运动,且状态占用仅为流等变模型的一小部分。
该论文针对以人为中心的环境,提出了围绕奖励建模与演示质量的两类离线学徒学习(AL)框架。在奖励建模上,EM-EDM 与分层奖励调节框架 THEMES 在 1 个教育和 3 个临床数据集上超越了对比基线;在演示质量上,HALIDE 与引入贝叶斯信用分配的 CCHAL 实现了混合质量数据的高效利用。
新研究发现,用于文本属性图节点分类的简单基线仅落后 GraphLLM 最佳报告性能中位数 2.3 个百分点,在 24 项任务中有 15 项差距在 3 个百分点以内。虽然 GraphLLM 在 22 项可测任务中有 12 项仍显著更优,但代码审查发现诸多评测风险,包括测试集调参、测试标签用于训练,以及同方法报告差异最高达 12.5 个百分点。
STAR-XPC 是一种基于 Set Transformer 的神经网络模型,可在 1-3 毫秒内直接预测聚合物复合材料的 X 射线透射比。该模型利用 ChemBERTa 嵌入各成分,支持最多 11 种成分的混合物,推理速度较耗时数小时的 Monte Carlo 模拟提升数个数量级。在 4697 个配置的数据集上,其 R² 达 0.9988,中位数绝对百分比误差仅为 1.15%。
研究人员提出模拟器 SimHack,利用少量小规模参考 RL 运行学习训练动态,可在训练前预测奖励欺骗的爆发步数分布。在未见目标配方中,其预测爆发中位数的相对误差仅 11.3%,跨配方排序相关性达 0.85,并泛化至不同模型规模与学习率。通过筛选 RL 课程,它成功找到了使无欺骗训练时长延长 96.6% 的方案。
研究者提出了同步神经拓扑优化(SNTO)框架,利用自定义神经网络联合优化状态、伴随和设计变量,以解决大规模应力约束拓扑优化计算成本高的问题。该方法结合连续伴随分析与自动微分,并通过硬件感知训练方案将设计域划分为子域分布在最多 8 块 GPU 上。实验显示,SNTO 相比传统有限元方法能生成边界更清晰、灰度区更小的超分辨率设计,并可扩展至包含多达 800 万个配置点的 3D 问题。
一篇新发表的综述系统分析了基于 FPGA 与集成电路(IC)平台的强化学习硬件加速及系统级优化进展,汇总了超过 100 项相关研究。文献梳理涵盖基于模型的马尔可夫决策过程、深度强化学习、Actor-Critic、策略梯度及多智能体方法,剖析算法向可重构与固定硬件的映射。评测维度覆盖资源利用率、延迟、吞吐量和功耗等指标,并总结了通用架构模式与未来研究方向。
研究者提出了参数高效的交互门控时频学习框架 TF-IG,用于基于 PPG 信号的心率估计。该模型采用双分支架构分别提取时域脉搏形态与频域周期信息,并通过交互门控融合模块建模特征一致性与差异性。在 BIDMC 数据集测试中,TF-IG 仅包含 84.6K 参数量,取得了 1.227 BPM 的 MAE 与 2.060 BPM 的 RMSE,皮尔逊相关系数达 0.9934。
研究人员提出基于学习的成本感知 KV cache 保留框架 KVLearn,用于优化分离式 LLM 推理系统中的缓存准入与保留决策。该框架通过前缀复用预测器、成本感知保留评分和自适应阈值控制器协同工作,无需修改模型权重。评测显示,KVLearn 相比 LRU-Pool 将端到端首字延迟(TTFT)降低最高 38%,并减少最高 53% 的节点间传输量,代码已开源。
微软在《Science》发表研究推出多智能体诊断系统 MAI-DxO,在模拟复杂病例诊断中取得 83% 的准确率,超过独立查阅资料全科医生的 36%。该系统通过协调多个 AI Agent 模拟医生会诊流程,在搭配 GPT-5.5 等前沿模型时表现最好,且对能力稍弱模型的提升更为显著。微软同时宣布正与梅奥诊所合作训练医疗基础模型,并在医院急诊等真实环境中开展临床实测。
斯坦福大学研究团队推出 Paper2Agent 系统,可将附带代码、方法和数据的学术论文自动打包为 AI 智能体可调用的工具集。在 100 篇计算生物学论文的测试中,系统成功将 74 篇转化为可用工具集,其运行分析与问答的速度比直接使用原始论文和代码快 2 倍以上且准确率更高。该系统旨在标准化科研代码的复用流程,并支持检索相似论文智能体以辅助科研人员建立合作。
OpenAI 与 PerturbAI 及 Scripps Research 合作部署数千个基于 GPT-Rosalind 的 AI 智能体,仅用 32 分钟便完成了数百万小鼠脑细胞全脑 CRISPR 图谱的生物数据分析,而人工分析预估需数月至一年。
中国农业科学院农业基因组研究所等科研单位联合发布AI智能体“绿洲”,可自动查阅海量文献与科研数据,辅助植物抗逆研究。该系统通过多智能体协同模拟科研团队协作,自主完成资料检索、数据分析与结果核查。研究团队借助其已成功筛选出多个水稻耐盐候选基因,并实验验证了其中一个与耐盐响应相关,成果发表于《分子植物》。
研究人员提出了一种用于分位数回归的序贯稀疏高斯过程框架,通过诱导变量与拉普拉斯近似实现高效的后验推断与不确定性量化。该方法将预测不确定性分解为条件先验方差和后验诱导方差,驱动自适应的诱导输入填充与数据采集,将计算资源集中于主要不确定性来源并自适应控制模型复杂度。实验和船舶耐波性应用表明,该策略在有限仿真预算下优于预定义采集及文献中的重复采样方法。
该研究探讨了高斯过程与再生核巴拿赫空间中高斯随机元之间的联系。作者证明了此类空间上弱二阶 Radon 概率测度的协方差算子由对称正定函数唯一确定,并在高斯情形下利用 $\gamma$-radonifying 算子表征了由协方差算子生成的函数。基于这些结果,研究进一步将 Driscoll 定理推广到了再生核巴拿赫空间环境。
研究人员提出了 FRESH 方法,通过信息几何将人群层面的汇总结果(如已发表的临床试验或注册库摘要)整合到基于患者级数据训练的生成模型中。该方法能在信息几何意义上对原始联合分布进行极小扰动,使再校准模型匹配目标人群的汇总统计数据,生成患者级预测或用于后训练更新。该技术可应用于单臂临床试验背景分析、试验设计模拟及上市疗法有效性对比。
研究人员提出重尾激活函数(HTAF),作为 Heaviside 函数的平滑近似,以实现二值表征的稳定梯度优化训练。该函数由 Sigmoid 与双曲正切复合而成,在零输入附近保留较大梯度且尾部衰减更慢,能稳定训练脉冲神经网络与二值神经网络。基于此构建的隐式概念瓶颈模型(ICBM)实现了特征离散化,在图像数据集上取得媲美或优于标准模型的预测表现。
研究者提出了一种具备随时有效保证的 AI 系统自适应审查框架,利用安全随时有效推断(SAVI)与同步 e-processes 构建对决假设检验。该框架将审计过程形式化为通过下注进行检验,通过审计即可在理论上证明系统具备全局鲁棒性。实验表明,该方法能严格控制随时有效的 I 类错误,性能优于预设测试,有时仅需 20 个样本即可得出严谨结论。
针对大规模含噪标注数据与少量专家验证干净数据共存的场景,该研究提出了一种通用的模型无关非参数分类框架。该方法利用小规模干净数据集提纯大规模含噪数据,并精细处理剩余的模糊样本,克服了传统方法对参数相似性假设的依赖。该框架拥有严谨的统计理论支撑,已在模拟实验及肺炎诊断医疗影像分析中验证了实际性能。
研究者提出了针对 MoE Transformer 的泛化与缩放理论,将每个输入的激活容量与路由组合机制有效解耦。通过推导覆盖数界并结合经验风险最小化(ERM)分析,证明其逼近与估计误差权衡在计入激活参数后与稠密网络一致,并证明误差可通过扩展激活容量或增加专家数量来降低。该研究据此推导出了涵盖模型规模、数据量及计算最优权衡的神经缩放定律。
研究人员针对机器视觉中缺陷样本稀缺与存储受限导致的偏差问题,提出了一套基于两个开源数据集的受控可复现实验方案,用于模拟不同程度的类别不平衡与标签偏移。实验对比了随机采样、基于熵的选择、核心集选择以及感知不平衡的 galaxy 采样四种主动学习策略。结果表明,基于熵和核心集的选择在高不平衡数据下依然优于随机采样,并量化了严重标签偏移带来的效率损失。
针对含有节点和边协变量的带种子图匹配问题,该研究提出了基于二次分配问题(QAP)的全局方法和基于种子邻域的可扩展局部方法。该框架支持通过广义线性模型至机器学习方法整合协变量,并推导了广义线性模型的估计误差率及 QAP 精确恢复真实对应关系的充分条件。仿真实验与学术谱系网络匹配均证实引入协变量能显著提升匹配表现。
研究人员提出了用于多变量时间序列异常检测的无监督框架 OracleAD。该方法将每个变量的历史序列编码为因果嵌入向量以联合预测当前时间点并重构输入窗口,并通过自注意力机制将其映射到共享潜空间并与代表正常关系的稳定潜在结构(SLS)对齐。系统基于预测误差和 SLS 偏离度实现双重评分与细粒度归因,在多个真实数据集和评估协议上达到 SOTA 水平。
记忆长尾数据与简单组合的协同作用能提升模型泛化能力。理论证明,在线性设定下,记忆结合组合能力可帮助模型在测试中对包含多个长尾特征组合的罕见样本做出正确预测,即便该特征组合从未在训练数据中出现。简单数据上的神经网络架构实验表明,该结论可拓展至线性设定之外,且模型的组合能力取决于其网络架构。
研究者针对熵正则化变分目标引入了名为“梯度差异”的新型次优性度量,并提出可显式计算的核梯度差异(KGD)。在无法获取未归一化密度函数的情况下,KGD 支持开发并对比新型采样算法,包括 Stein 变分梯度下降的推广,并已应用于平均场神经网络和预测导向后验。理论上,该工作确立了 KGD 具备连续性及收敛控制等性质的充分条件。
研究提出利用对抗随机森林(ARF)合成流行病学表格数据,并在涉及血压、心肌梗死与糖尿病等 6 项流行病学研究中成功复现了原始统计分析。实验表明,ARF 生成的数据在描述性和推断性分析中均与真实结果高度一致,即使样本量相对维度偏低也表现稳定。对比常用表格合成工具,ARF 在数据效用、隐私保护、泛化能力及计算效率上均展现出显著优势。