学习何时撤回:微调语言智能体的课程覆盖度与规则级失效
研究人员在合成环境 NAQD-Env 中基于 Qwen2.5-3B-Instruct 进行了 LoRA 监督微调,以评估工具调用语言智能体在证据变更或权限撤销时的选择性撤回能力。
研究人员在合成环境 NAQD-Env 中基于 Qwen2.5-3B-Instruct 进行了 LoRA 监督微调,以评估工具调用语言智能体在证据变更或权限撤销时的选择性撤回能力。
研究人员提出递归奖励改进(RRI)方法,利用对抗机制防范开放式专家任务中的奖励黑客行为,并通过至多两次修复步骤修订评分准则。在 HealthBench Professional 基准上,RRI 相比仅生成基准在 9B 和 27B 参数模型上分别提升 10.9 分和 12.4 分,无需外部模型时提升 10.3 分。
针对 HPC 作业调度,研究人员在真实 Slurm 工作负载轨迹下,对带与不带动作掩码的 PPO、A2C 和 DQN 等深度强化学习方案进行了统计评估。评测发现所有未掩码方案均被截断,且在同构负载下掩码 DRL 并未显著优于掩码随机对照组。但在异构负载中,MaskablePPO 较对照组全面提升,最大有界减速比 LCFS 低 22%,并取得了最低的平均训练时间。
研究人员提出多模态大语言模型训练框架 MSP,通过模态自我博弈摆脱对真实跨模态配对数据的依赖。该方法利用未见模态的代理文本描述作为语义桥梁,使模型仅凭真实锚点模态与代理描述即可实现零样本多模态组合与推理。实验显示,MSP 在多个多模态评测基准上达到 SOTA 或极具竞争力的性能表现。
研究人员提出了结合 ASPO 训练框架的步级推理安全护栏 StepSafe,通过前缀级阶段对齐与自适应反馈自蒸馏实现适时干预。该方案在每一步引入违规分类体系和干预窗口,并利用自进化多智能体红队测试扩展数据。StepSafe 在 5 个智能体安全基准上达到开源护栏 SOTA,其 4B 模型的 Youden's J 指标达 53.0(对比 46.2)。
研究提出决策模型 LEV,通过在循环中重跑网络层代替生成 token,让单组权重检查点可在任意计算深度回答问题。在 JevBench 基准上,2.6B 规模的 LEV 准确率从深度 1 的 63.2% 提升至深度 4 的 76.2%,配合小型终止器按需设定深度可节省 15% 至 24% 的计算量。
研究团队推出开源一体化平台 MAI-Gym,统一了移动端、电脑和 Web 环境下的 GUI Agent 评测、数据收集与在线强化学习训练。该平台最高支持 20,000 个并行环境实例,并支持自动合成可重置的模拟应用与跨应用任务验证。
推荐理由:原文展示了通过可重置的模拟应用合成任务进行在线强化学习并直接迁移至实体手机操作,为低成本构建真实图形界面智能体提供了可行路径。
研究人员提出面向工程智能体动作与反馈层的通用契约 RAC,让智能体决策工件应满足的关系,并由专用工具推导具体后果。在 PCB 布局、布线及修复任务中,RAC 在全部 9 个受测模型上取得最高的一次通过率,平均达 90.9%,优于基线方案的 74.0%。在作业车间调度任务中,其质量通过率达 96.3%,显著高于代码中介交付的 59.6%。
研究人员提出面向智能体技能的非精英进化优化方法 SkillNEO,通过将“当前使用的版本”与“继续改进的版本”分离筛选,保留低得分版本的有效修改并支持后续迭代。
研究人员基于算法信息论形式化定义了组合式结构(compositional structure),指出当各部分组合在一起并展现出单独建模无法捕捉的共享结构时,组合式结构便会涌现。通过可计算近似反转该框架,团队在仅指定结构形式而不预设具体内容的前提下直接优化字符串与图像,成功生成具备分层复用特征的对象。该研究为神经网络架构深度及开放式学习的数据课程构建提供了新视角。
研究提出多层级 AI 可访问性模型(MAIAM),打破 API 或开源权重的二元划分,按目的、安全与能力将模型访问划分为三层。Tier 1 设能力上限,Tier 2 面向受控研发,Tier 3 前沿 AI 仅限可问责的结构化访问,以应对几百美元即可剥离开源权重安全微调的风险。该框架结合能力边界与可访问性边界,主张由监管机构推行分级准入。
研究人员提出了一个用于复杂动态环境中交互运动前瞻推理的通用声明式框架,在语义层面构建可解释的时空心智模型以指导底层运动计算。该方法结合了表征交互运动轨迹动态的 ASP 模型、推导分支轨迹未来的语义引导预测,以及评估和过滤预测的能量优化模型。在 Argoverse 2 基准测试中,每个生成的预期轨迹都带有明确且可检查的事件级假设。
针对自我改进 AI 智能体在部署后技能库发生漂移导致性能脆弱的问题,研究团队提出了面向部署的评测协议 CODA。该协议通过模拟技能漂移,引入了语义保留编辑下的一致性率以及对受损技能的抵抗率等新指标。在 4 种协同进化方法和 5 个基准测试中,最差情况下的成功率比峰值低 5-13 个百分点,抹去了技能库相较无技能基线 52-93% 的性能增益。
研究人员提出一种计算感知的置信度校准三动作控制器,将评估器引导的推理建模为不确定性下的资源分配问题。在保留的宽度扩展与修订任务中,该控制器比校准选择的固定策略分别减少约 30% 和 16% 的归一化在线计算量,同时提升了效用。在基于 Qwen3-8B 的四个随机种子的实验中,其计算量均低于拟合 Q 方法,效用表现接近。
研究者提出免训练的推理阶段框架 TSG(Temporal Specification Guidance),通过形式化时序逻辑表达视频中的顺序、定时与持续性要求,引导文本生成视频的采样过程。
研究人员提出一种无需奖励、裁判模型与标准答案的自我改进 AI 智能体,通过冻结模型在领域特定语言(DSL)上运行双层嵌套循环拓展计算能力。内循环通过双表达式一致性将可回答问题集扩大约 3 倍,外循环基于守恒定律准入新算子并成功拦截全部 138 种错误算子变体。该机制在商业账本和临床问诊领域将可回答集分别提升逾 10 倍与近 20 倍,且能跨模型族泛化。
研究发现将模型作答配置从思维延续改为独立调用,能显著提升大模型在推理轨迹与证据冲突时对当前证据的遵循度。在 HotpotQA 和 MuSiQue 基准上,gpt-oss、Gemma4 和 Qwen3 的独立作答调用比延续思考的证据遵循度高出 29.9 到 60.6 分。分析表明轨迹最后一行承载了大部分价值,重新推理能促使模型在多数冲突中遵循当前证据。
研究人员提出多模态 Agent 自我进化系统 EvolvingBrain,通过自适应技能系统作为核心大脑以提升开放世界交互能力。该系统包含从轨迹中提炼经验并构建包含 Domain、Plan 和 Action/Trap Skills 的分层技能自进化模块,以及利用结构化摘要记忆指导技能融合的状态感知自适应执行机制。
开放世界 AI 研究提出应对未知任务的三大核心要求,包括推理期学习、保留超越独立同分布泛化所需的丰富表征,以及实现输入输出对齐的预测性解耦。理论同时预测了具备一致内部学习器以及跨相关任务长上下文的重要性。在高达 8B 参数的语言模型测试中,满足要求的模型随相关任务数据累积而提升,不满足的模型则会出现性能退化,且无法通过模型规模或层类型交错来弥补。
研究人员推出 ARIA 框架,通过学习在多智能体系统运行过程中何时以及如何修复错误,避免局部差错扩散导致任务失败。该研究跨 4 个框架、6 个 benchmark 与 8 个宿主模型收集了超 24,000 条轨迹,构建出包含 3,953 对经执行验证修复的 ARIA 数据集。训练后的紧凑模型在事后与运行时环境中均展现出强修复性能,并能泛化至未见过的框架与模型。
研究者提出了衡量智能系统应对现实变化速度的有效连贯认知速度(\(S_C^{\mathrm{eff}}\)),以应对观测与现实之间不断扩大的差距。在固定计算资源且现实变化速度(\(S_R\))最高提升 50x 的免重训测试中,受清醒思维细胞机制启发的 \(Co^4\) 架构表现大幅优于 Transformer 和 gated-MLP 基线。该研究由此确立了以连贯认知扩展为核心的可靠 AI 原则。
研究人员提出基于大语言模型的符号回归框架 L2G-SR,利用学习到的结构验证器辅助数值误差来引导公式搜索。该框架利用树编辑距离(TED)构建结构监督信号,由分析器结合验证器反馈与诊断工具提出修改建议,再交由生成器转化为优化后的表达式。在基准测试 LLM-SRBench 上,L2G-SR 在数值拟合、公式级准确率及 TED 指标上均达到 SOTA。
研究人员提出 IneqAgent,这是一个将大语言模型推理与符号计算相结合的智能体框架,用于在 Lean4 中进行不等式证明。它利用引理级蒙特卡洛树搜索协调引理构建与后端选择,并借助平方和、Bernstein 等符号后端生成证明凭证。结合 DeepSeek-V4-Flash 时,该方法在 4 个基准测试中解决 186 道题目中的 175 道(94.09%),以更低的平均推理成本取得了最高总成功率。
研究人员提出了反事实邻域风险场(CNRF),这是一种面向视觉语言模型(VLM)基于证据的选择性安全框架,通过构建良性与有害反事实对将邻域支持度与风险估计分离,实现选择性干预而非一刀切拒绝。在 3 个 VLM 和 5 种多模态越狱家族的测试中,CNRF 实现了 86.06-89.30% 的宏防御成功率,并在低假阳性区间有效提升了风险排序能力。
研究发现在 Verus/Rust 形式化验证任务中,传统的正确性反馈会抑制用于揭示规范不完备的反例程序。在 12 项任务与 4 个模型家族的测试中,无反馈的独立发现将认证反例生成率从 IntentShield 反馈循环的 27.1% 提升至 59.0% 以上。保留这些反例进行阶段分离式修复后,规范实现成功率达 81.3%,显著优于对比方案。
研究团队推出 Agent 度量系统 AlphaDiana,针对可验证推理任务,解耦数据集、Agent、环境与评分模块,支持对工具、技能和记忆组件进行微观干预评测。
研究者提出免训练方法 VISTA,能在固定预算下自动选择离散扩散模型中顺序蒙特卡洛(SMC)引导的时间步。该方法利用少量全引导预热生成的价值统计数据,通过动态规划精确优化经验代理目标,选定调度后每代引导复杂度与其他同预算稀疏调度一致。在毒性文本生成实验中,VISTA 在获得 0.99 独立毒性比率的同时,将单次生成延迟从 204.23 s 降至 38.16 s,实现 5.35x speedup。
研究表明在基准测试分数饱和后,大模型正确解答任务的完整记录(transcripts)仍保留着超越准确率的能力信息。在评估的提取方法中,成对评审(pairwise judging)表现最佳,相比仅使用饱和分数的基线将预测误差降低了 5.3 倍,相关信号主要集中在推理和工具调用等环节。不过该预测能力在面临分布偏移时泛化受限,例如会低估 2025 年初推出的首批 reasoning model 的能力。
研究人员推出包含 6 类游戏共 180 项任务的 RealtimeBench,用于评估推理期间环境持续运行的 AI 智能体表现。测试显示 GPT-6.1-sol 在暂停时占优,但在实时运行时落后于更快的 Jev。为此提出的双时间尺度自改进方法 TORSI 通过慢速导师离线指导快速学生,两轮迭代将 Jev 的平均测试得分从 13.51 提升至 24.19。
研究人员将群值非齐次 Lévy 过程(即 Lévy 粗糙路径)的期望特征核刻画为扩展 Goursat 型系统解的标量分量。该系统在连续情况下精确处于有限维,在存在跳跃时则为无穷维,研究证明了其良定性并给出具明确误差控制的有限维截断,可直接计算单样本 signature-MMD 检验中的参考依赖项。针对条件高斯鞅,通过对二次变差求条件获得了方差更小的无偏统计量及有限网格可计算版本。
研究人员提出了并行层归一化网络(PLN-Nets),证明单个层归一化(LN)单元的浅层网络不具备通用近似能力,而通过增加并行 LN 分组数量可实现通用近似。该机制可扩展至深层网络、RMSNorm 变体、前馈网络和卷积网络。在 MLP、PINN、CNN 和 ViT 上的实验表明,分组数量及分组轴、替换位置等结构特征会直接影响模型的拟合与泛化表现。
研究人员提出了 STAMP 及其变体 STAMP-mag,通过时间戳平衡算子替换标准邻域聚合,解决图结构数据在时间切分下的半监督节点分类分布偏移问题。该方法通过平衡不同时间戳的消息来强制实现跨时间域的一阶矩不变性,兼具可扩展性与易实现性。
研究人员提出了黎曼流形上高斯随机场的“第二极大值”概念,并基于 Kac-Rice 公式推导了极大值的显式条件分布,构建出用于检测稀疏备择假设的精确间距检验(spacing test)。
研究者将控制与系统辨识领域的集员估计(SME)引入线性上下文老虎机,提出了一种基于 SME 的面对不确定性保持乐观(OFU)算法。该算法在合适假设下确立了亚线性遗憾界。仿真实验进一步表明,SME-OFU 相比现有方法展现出良好的性能。
研究人员提出了一种名为 Boltzmann 间隔(Boltzmann margin)的新条件,弥合了 Tsybakov 间隔与 Massart 间隔之间的理论差距。该条件比 Massart 间隔更弱,且在适当条件下强于 Tsybakov 间隔并继承其特性。将其应用于 kNN 分类器分析后,研究首次建立了 kNN 分类的近似指数收敛率,并给出了数值实验证据支持主要理论结论。
研究提出一种面向动力系统的分布到分布(D2D)神经概率预测框架,无需显式集合模拟即可递归推演多步预测分布。该方案利用核均值嵌入表征输入分布,并通过混合密度网络参数化输出,构建了兼容的编解码接口。在 Lorenz63 系统上的测试显示,模型能有效捕捉非平凡分布演化,预测表现与完美模型基准相当。
扩散模型已成为基于模拟推断(SBI)的高效工具,依托基于分数的公式可从模拟和真实数据中快速准确估计潜在参数。该综述系统梳理了其在训练、推理与评估中的设计选择,涵盖引导机制、分数合成、流匹配及一致性模型等技术。此外,文章还分析了噪声调度和采样器对精度与效率的影响,并给出多维度案例与未来方向。
研究人员开发了面向无定形材料的玻尔兹曼生成器(Boltzmann Generators),将所需等变性直接构建到黎曼随机插值器中,并用等变图神经网络结合周期性边界条件与粒子对称性。数值实验表明物理对称性显著提升了模型精度,但也揭示连续流架构在似然积分累积的数值误差会破坏时间可逆性,影响精确热力学重加权。
研究人员从随机梯度下降(SGD)动力学视角出发,推导出高斯分布下深度神经网络(DNN)权重初始化方差的最优数学条件。该方法通过极小化期望损失函数界限确定初始化尺度,摆脱了传统启发式设定的限制。在 MNIST 与 Fashion-MNIST 数据集上的全连接网络实验显示,满足该理论最优条件的模型最终训练损失更低,且测试准确率均优于传统的 He-normal 初始化。
研究者提出基于总风险先验的形式化贝叶斯迁移学习方法,通过以源参数为条件的风险最小化器构建源与目标参数的联合后验,实现完整的贝叶斯不确定性量化。该方法支持通过 Gibbs 采样对源数据集包含指示变量进行模型平均,其 MAP 估计在特定正态均值设定下的 MSE 优于 Trans-Lasso。在源数据受限的遗传学应用数值实验中,其预测性能优于频率学派和贝叶斯基线。