何时跟随教师：基于优势的在线策略蒸馏（AOPD）
研究人员提出基于优势的在线策略蒸馏（AOPD），通过教师动作在学生模型下的反事实优势进行加权，强化真正有助于提升学生表现的教师指导。该方法仅依赖标准学生采样轨迹与终端奖励进行目标估计，无需额外的 rollout 或奖励评估。在数学、代码与 Medqa 任务实验中，AOPD 在外部教师及自蒸馏设置下均优于传统蒸馏与强化学习基线。
全部AI 动态
全部动态
今日 80 条arXiv stat.MLAI 评分3636 arXiv stat.MLAI 评分3636 用于困惑度感知黑盒攻击的扩散语言模型
研究人员提出将连续扩散语言模型（dLLM）直接耦合到连续潜在空间框架中，以替代黑盒 LLM 攻击中的人工随机映射。该方法在保留标准高斯潜在形式与采样或优化流程的同时，显著提升了对抗提示词的自然度。实验显示，字符级困惑度在 RareTrap 采样中从 10^3–10^7 降至 3–5，在 ThinkTrap 优化中从 20–28 降至 4.3–5.4，且两种映射下的模型风险评估可相差一个数量级。
arXiv stat.MLAI 评分3333 SABLE：可扩展仿射贝叶斯潜空间探索方法
研究团队提出贝叶斯优化方法 SABLE，专门解决评估预算有限的高维潜空间优化难题。该方法基于贝叶斯仿射代理模型分解查询分量，并通过重压缩机制将信息缩减至 $\mathcal{O}(M)$ 伪观测值，将单次推理、预测与采集决策耗时控制在数十毫秒级。实验表明，SABLE 保持了高样本效率，并在大预算下将决策时间降低数个数量级。
arXiv stat.MLAI 评分2727 基于局部化 AUC 泛函的二分类器局部判别方法
针对传统 AUC 评估容易忽略性能异质性并可能导致临床决策失误的问题，研究人员提出加权 AUC 指标 Localized AUC（LAUC），并据此构建了 LOCATOR 方法以识别风险预测模型不准确的患者群体。该研究为 LAUC 建立了统计学理论基础，并在真实世界数据与模拟实验中验证了该方法的有效性。
arXiv stat.MLAI 评分3434 基于神经符号规则的可解释下一事件预测方法 RUNES
研究人员提出了用于序列事件预测的神经符号模型 RULES，可直接从数据中学习时序规则，并在合成数据与真实数据上发现紧凑且可解释的规则集。该模型进一步与残差网络相加结合构建出 RUNES，在保持高预测准确率的同时，透明展示激活规则以及残差对预测结果的调整过程。
arXiv stat.MLAI 评分4545 带 CoT 的 Transformer 经训练可自主发现重球加速算法
研究表明带 CoT 的 Transformer 在线性回归上下文权重预测任务中，不仅能模仿教师算法，还能通过训练自主发现更优算法。模型在接受梯度下降教师的初步监督后，经真实回归权重的轨迹级监督训练，学会了实现重球加速方法。该加速算法在没有任何重球算法教师监督的情况下自主涌现，为 Transformer 超越监督样本发现新算法提供了理论证据。
arXiv stat.MLAI 评分3030 线性残差网络在训练期间宽度与深度极限可交换
线性残差网络在采用 $1/\sqrt{depth}$ 残差分支缩放（Depth-$\mu$P）与 $\mu$P 宽度参数化时，其无限宽度与无限深度极限在有限步训练中可交换。在带有梯度裁剪的固定步数梯度下降下，当宽度和深度趋于无穷时，网络输出沿所有联合增长路径在 $L^2$ 意义下收敛。若不使用梯度裁剪，通常不满足 $L^2$ 收敛，但仍能成立较弱的依概率收敛。
arXiv stat.MLAI 评分3535 基于局部特征空间细化的残差校准方法 LAPE
研究者提出了名为 LAPE 的事后残差校准框架，以解决深度神经网络在特征空间局部区域中误校准随空间变化的问题。LAPE 将全局校准器输出作为稳定锚点，利用邻近校准样本的非参数局部证据细化个体预测，并可作为即插即用模块复用校准数据。该方法还通过 CFAF 扩展至多视角输入设置，显著提升了现有基准模型的校准质量。
arXiv stat.MLAI 评分3939 持续进化的 AI 分析师如何实现终身有效决策
研究人员提出了持续验证方法，用于在部署前评估不断进化的 AI 分析师，保证其整个生命周期中犯第一类错误的概率受控。该方法利用零假设下的模拟数据在部署前进行验证，证明无论更新多少次均能将第一类错误率控制在目标水平。
arXiv stat.MLAI 评分3333 当重构不再足够：基于多模态学习表征的双重稳健反事实与干预中介分析
仅依赖重构等协变量目标训练的多模态表征无法保证因果识别，且双重稳健与交叉拟合均无法消除其引发的一阶表征偏差。为此，研究提出结合模态特定变分自编码器、交叉拟合双重稳健估计器及表征诊断的因果分析工作流。模拟实验表明，遗漏罕见混杂因素会导致 n = 3,000 时区间覆盖率降至 2%，而简单预测诊断可在所有重复实验中成功捕获该问题。
arXiv stat.MLAI 评分5151 AI Mindmeld：面向大模型与专家模型的潜空间互联协议 LIP
研究团队提出潜空间互联协议（LIP），通过仅训练轻量连接器将领域专家模型的表征映射至大模型内部状态，实现跨模型的高维表征直接交换。实验在完全冻结预训练模型的前提下，成功将 3 个蛋白质与 3 个小分子专家模型接入 Gemma 3 和 Kimi K2.6，展现出无须联合训练的跨领域零样本任务迁移能力。作者指出当前大模型尚缺乏对专家表征的原生推理支持，并已开源相关数据、连接器权重与评测代码。
arXiv stat.MLAI 评分3838 通过选择性审核实现可靠的 AI 辅助决策
新方法通过选择性审核对连续决策的 AI 系统进行在线监控，在保证未被审核的 AI 错误率低于预设阈值的前提下，最小化专家审核频率。该系列算法无需预设假设即可提供可证明的错误控制保证，能在对抗流与独立同分布数据流中渐近达到最优审核率。在大语言模型有害请求过滤和数据标注等实验中，该方法有效实现了错误控制并大幅减少了人工审核需求。
arXiv stat.MLAI 评分2626 基于并行梯度提升的概率分布非参数自回归估计
研究人员提出通过自回归方式将联合分布分解为条件分布估计器，并基于并行梯度提升构建非参数估计模型。理论证明，在损失函数满足次可加性时，联合分布的收敛速率界可由条件分布估计器的收敛速率界导出，并受依赖图稀疏度约束。在模拟和真实数据集的测试中，该方法即使不优化分解顺序也展现出具有竞争力的估计性能。
arXiv stat.MLAI 评分3030 岭可分模型中未调整朗之万算法的无维度依赖机制：子空间鲁棒 Wasserstein 分析
研究人员通过子空间鲁棒 Wasserstein 距离分析了高维贝叶斯推理中未调整朗之万算法（ULA）的偏差与混合时间。针对由独立同分布数据构成的岭可分势函数，理论证明了复杂度随样本量 $N$ 与维度 $d$ 的比值呈现钟形混合特征：在超参数化机制下复杂度仅取决于秩 $N$ 而非 $d$，在大样本机制下可实现无维度依赖复杂度，而在 $N \asymp d$ 的比例机制附近通常无法获得无维度依赖保证。
arXiv stat.MLAI 评分3333 基于条件期望局部半径的度量共形预测方法
研究者提出了条件期望局部半径（CELR），为通用度量空间中的非欧几里得响应构建了一种新型共形预测方法。该方法无需密度估计或向量空间结构即可适应异质性与多模态，并通过其条件分布生成跨协变量可比的不一致性得分。配套的度量分布随机森林支持单次拟合提供全部得分组件，在保证有限样本边际覆盖的同时显著降低了计算开销。
arXiv stat.MLAI 评分3232 度量空间中随机对象的深度学习：超越流形假设
研究者提出一种面向度量空间中随机对象回归的深度学习框架，直接基于响应空间的度量结构运算，摆脱了传统流形或欧氏嵌入假设。该方法在理论上具备统计一致性与收敛速度保证，并明确了缓解分层组合回归函数维度灾难的条件。在模拟实验以及基于高分辨率加速度计和连续血糖监测数据的数字健康案例中，该框架均展现出优异的预测性能。
arXiv stat.MLAI 评分3131 控制预测不确定性的计算机模型校准方法
研究者提出一种直接控制预测失准率的双层校准框架，以解决计算机模型校准中传统方法无法有效控制预测误差的问题。该框架首先通过条件流匹配学习校准参数的摊销后验，再利用保形风险控制构建具有有限样本预测覆盖保证的区间带。合成基准测试显示其区间宽度仅为 KOH-MCMC 的约 20%，且失准率贴近 10% 目标；在 2010 年马拉维麻疹疫情的 SEIR 模型校准中也展现出更紧凑且接近标称水平的覆盖表现。
arXiv stat.MLAI 评分2525 谱算法随机投影：Sobolev 范数下的最优学习率
新研究针对基于随机投影（RP）的谱算法建立了 Sobolev 范数下的最优学习率，在一般条件下匹配了极小极大下界且不牺牲统计效率。针对随机草图（randomized sketches）与 Nyström 子采样，证明达到最优所需的投影维度与有效维度成正比，显著降低了计算与存储成本。该结论摆脱了回归函数一致有界性假设并适用于更广泛的源条件。
arXiv stat.MLAI 评分3131 连续深度深度高斯过程
研究人员提出了连续深度深度高斯过程（Continuous-depth DGP），将隐层表示建模为由配备高斯过程先验的随机微分方程驱动的连续演化。该研究探讨了直接引入状态-深度漂移先验的 CDGP，以及训练成本更低且能捕获更丰富深度依赖的流演化先验 FlowDGP。合成数据、基准测试及大规模回归任务实验表明，CDGP 和 FlowDGP 在多种场景下均优于普通 DGP 和残差 DGP。
arXiv stat.MLAI 评分3131 xVGAE：面向可交换图的分层变分图自编码器
研究人员提出分层变分图自编码器 xVGAE，在保持与 SOTA 模型相当生成质量的同时，将图生成速度提升数个数量级。该架构基于 Aldous-Hoover 定理，通过学习图级与节点级潜变量及对应的 graphon 函数对可交换图建模。xVGAE 支持快速单次（one-shot）生成紧密匹配训练集关键统计特征的新图。
arXiv stat.MLAI 评分3434 用于非平稳注意力的流式谱核学习
研究人员提出基于流的谱核注意力（FSKA）框架，通过归一化流参数化二元谱密度来学习表达力更强的非平稳核，并保持线性注意力计算的扩展性。得益于表达力提升，FSKA 移除了查询与键的投影并固定正交值投影，相比多数基线将投影相关的可训练参数量减少约 40%–47%。分类、消融和可扩展性实验显示，FSKA 达到与现有注意力机制相当或更优的性能，并保持有利的线性内存扩展。
arXiv stat.MLAI 评分3939 从嘈杂多样的数据源中获取高价值训练数据
研究人员提出一种可扩展的训练数据加权方法，利用少量高质量目标数据集与训练过程中的元梯度，直接优化训练样本权重以提升目标领域表现。该方法通过学习参数化加权规则泛化至流式样本，并支持从小模型向更大模型迁移。在奖励建模实验中，学习到的数据权重自适应特定领域，并使人类与合成监督混合数据的表现超越单一数据源。
arXiv stat.MLAI 评分3333 基于广义矩匹配的差分隐私合成数据
研究者提出广义矩匹配框架，通过私有化估计矩、拟合概率测度并采样记录，生成满足 $(\varepsilon,\delta)$-差分隐私的合成数据。该方法适用于 1-Wasserstein 距离、含 Matern 与 Laplace 核的 MMD 及范数有界 ReLU 网络导出的积分概率度量。在合成记录足够时，其误差速率在固定维度下达到了极小化极大最优。
arXiv stat.MLAI 评分3434 持续 SFT 中受限更新为何仍会遗忘：基于函数路径的分析
研究提出函数路径分析方法，将持续 SFT 中旧损失变化分解为受控方向、梯度陈旧度、探针失配与有限步效应，解释了受限更新为何仍会导致遗忘。QLoRA 干预实验表明，约束放置在 Adam 优化器前后显著影响保留效果，且最终分数掩盖了训练中的损失暴露。在序列任务中，监督回放比产生任务权衡的子空间正则化能更一致地保护历史任务。
NVIDIA BlogAI 评分4949 哈萨克斯坦扩大算力布局推动其 AI 未来
哈萨克斯坦正全面扩建 AI 基础设施，NVIDIA 创始人兼 CEO 黄仁勋到访阿斯塔纳并宣布投资当地初创公司 Higgsfield AI。
橘鸦AI早报AI 评分3232 橘鸦AI早报（2026-10-23）：OpenAI 开放 Decisions API，科大讯飞与 Anthropic 等发布多项更新
OpenAI 正式开放仅支持 gpt-6-luna 的 Decisions API，单次请求上限提升至 400 个问题，决策速度最高达调用 GPT-6 Luna 的 10 倍。
OpenAI NewsAI 评分2525 Anima 借助 GPT-6 和 GPT-Live 帮助诊所将通话等待时间缩短 75%
Anima 借助 OpenAI 的 GPT-6 与 GPT-Live 模型，帮助诊所将通话等待时间缩短 75%。通过接入 OpenAI 模型，Anima 进一步拓展了护理团队的服务能力，让医护团队拥有更多容量高效响应患者需求。
arXiv cs.LGAI 评分3333 MA-UITD：用于表征连续社交行为的离线多智能体奖励推断
研究提出离线多智能体奖励推断方法 MA-UITD，无需已知环境动力学或内层策略优化循环，即可从连续状态联合演示中推断智能体特定的显式奖励。该方法结合信念条件后继特征与逆时序差分一致性，支持离散及有界连续动作空间。其在模拟合作与竞争任务中表现超越基线，并成功从社交觅食轨迹中解析出领导者与跟随者的差异化奖励结构。
arXiv cs.LGAI 评分3030 用于多阶段制造质量预测的时延引导注意力机制
研究人员提出用于多阶段制造质量预测的时延引导注意力机制 DAMF，通过显式估计阶段间时延分布来引导跨阶段信息传递。该方法利用发生-幅度分解独立估计正时延概率与条件幅度，并将软分布作为时序先验注入可微跨阶段注意力中，推理时无需工厂指定时延。实验显示 DAMF 在真实数据集 LiquidSugar 及两个受控时延基准上均提升了最终质量预测性能。
arXiv cs.LGAI 评分3737 PerSPL：个性化半监督偏好学习
个性化半监督偏好学习框架 PerSPL 通过 pair-mean score centering 稳定跨 prompt 评分坐标，迭代将无标签回复转化为用户特定的训练信号。在 PersonalLLM、HelpSteer2、Reddit TLDR 和 Chatbot Arena 四个基准上对比 7 种代表性 baseline，PerSPL 在已见过和未见过的用户上均取得了最高平均准确率。
arXiv cs.LGAI 评分3333 截断袋外概率增益（TOP-Gain）：面向随机森林 Wrapper 特征选择的抗噪评估准则
研究者提出随机森林 Wrapper 特征选择抗噪准则 TOP-Gain，通过将候选特征引起的真实类别袋外概率下降截断为零，消除约三分之二的噪声方差。在 26 个 OpenML-CC18 数据集的基准测试中，TOP-Gain 在 ROC-AUC、准确率和 Macro-F1 上取得 15 种方法中的最佳平均排名，单核计算量比 VSURF 减少 21 倍且精度相当。
arXiv cs.LGAI 评分3636 条件流模型将认知不确定性转化为表观偶然方差
研究发现条件流模型（CFM）在回归等任务中生成的样本方差常大于真实条件分布，会将拟合真实分布时的认知不确定性转化为表观偶然方差。受控实验表明，该诱导方差能够反映模型对复杂目标的欠拟合程度，并随额外训练或数据增加而下降。研究还给出了理论解释，并展示了其在构建高覆盖率回归预测集中的实际应用。
arXiv cs.LGAI 评分4444 通过表征工程缓解真实场景中的奖励作弊
一项新研究提出利用表征工程动态干预潜在表征，在工具调用和长上下文等真实场景中低成本、显著缓解了模型的奖励作弊问题。该方法结合均值差、梯度优化与参考规范提取引导向量，相比均匀向量相加扰动更小，且不明显损害模型连贯性与能力。此外，在编程环境中提取的引导向量还能跨领域泛化，为生产系统的隐空间监控与控制提供了新路径。
arXiv cs.LGAI 评分2828 MHeatmap：用于矩形矩阵可视化的两步拉普拉斯重排与马赛克布局
研究人员提出矩阵可视化方法 MHeatmap，通过两步谱排序与马赛克布局解决传统热图排序混乱及无法体现行列总和差异的问题。该方法引入二步游走拉普拉斯图排序，结合行高与列宽按总量比例划分的马赛克瓦片布局，并支持稀疏计算。在 300 个合成矩阵与 7 个真实数据集测试中，两步游走在全部 15 种合成场景取得最低归一化 2-SUM，并在 14 种场景取得最高 Band@10%。
arXiv cs.LGAI 评分3434 物理参数偏移下的因果世界模型研究
研究人员针对物理条件超出训练分布时预测精度下降的问题，提出了结合因果建模与显式动力学机制的世界模型。在机器人 CausalWorld 连杆质量外推测试中，该模型将超范围质量转化为稳定预测增益，150 步推演的中位数关节 R2 从 0.609 提升至 0.727。在 100 步预测中，学得力矩模型的表现达到中位数 R2 0.755-0.768，可匹敌最强的循环机器人世界模型。
arXiv cs.LGAI 评分3535 面向基于流的离线强化学习的价值校正蒸馏（VRD）
研究者提出价值校正蒸馏（VRD）框架，解决了离线强化学习中蒸馏流匹配行为策略导致的分布外（OOD）模态平均问题。VRD 将策略蒸馏重构为价值引导的生成轨迹对齐，并具体实现为 VRD-Q 与 VRD-R 两种互补算法来隔离高价值动作。在 D4RL、OGBench 和 Minari 基准测试中，该方法在多模态及非专家数据集上的表现显著超越现有生成式基线。
arXiv cs.LGAI 评分3333 选择性预测中的选择代价分析
该研究量化了选择性预测中验证“风险-覆盖率”契约的样本代价。针对 K 个分数区间的规则菜单，在覆盖率底线 $\kappa$ 和间隙 $\gamma$ 下，极小化极大样本规模在小间隙、大菜单条件下达到 $K(1-\kappa)/(\kappa\gamma^2)$（忽略对数因子），精确交并测试（IUT）可达到该速率。
arXiv cs.LGAI 评分3434 面向无监督时间序列异常检测的多教师评分原则蒸馏
研究人员提出无监督时间序列异常检测方法 AnoMix，通过 CoRank 多教师排序蒸馏目标将异构冻结教师模型的评分转化为成对弱监督，蒸馏至参数量低于 80k 的轻量学生模型中。在 7 个基准数据集上，该方法表现超越了单个检测器与静态评分集成。其零样本变体还可迁移至未见数据集，性能优于大型预训练时间序列基础模型。
arXiv cs.LGAI 评分3434 隐藏学习结构的动力学研究
研究人员提出了纤维调节理论（FRT）与纤维获取理论（FAT），用于刻画模型隐藏学习结构中的受保护功能修复及可训练结构更新动力学。在 Qwen2.5-32B 结合 AdamW、经验回放与输出知识蒸馏的实验中，受保护 head 修复与固定容量 LoRA 更新的协同策略在全部四项对比中均取得了高于单一策略的 teacher-forced Exact 表现。
arXiv cs.LGAI 评分2929 ART-MPG：基于自回归反射/透射的流形路径引导
研究者提出紧凑神经模型 ART-MPG，用于采样链长度、自回归反射/透射（R/T）字符串以及来自拓扑条件四分量 vMF 混合的方向。该方法将流形路径引导（MPG）中的重试采样同时基于链长度与 R/T 字符串进行条件化，在保持理想期望的同时降低了预期重试次数和估计器方差。在 14 个场景的不同每像素采样数（SPP）评估中，其在同等 SPP 下的均方误差和跨运行标准差均持续低于现有在线与离线基线。