稀疏整数规划训练学习模型的分布鲁棒正则化
研究人员提出将分布鲁棒优化（DRO）正则化扩展至混合整数稀疏规划，以替代计算昂贵的交叉验证来平衡模型稀疏性与预测精度。该方法提供了与公式稀疏参数相关的统计保证，并在使用特征值规则集构建可解释二分类模型的场景中展示了实际应用。
全部AI 动态
全部动态
今日 2 条arXiv stat.MLAI 评分2525 arXiv stat.MLAI 评分2626 一次探索、多策略评估：随机线性老虎机的多策略评估算法 PRISMA
研究人员针对具有线性奖励结构的随机上下文老虎机，提出多策略评估算法 PRISMA，可同时评估 K 个目标策略。该算法结合无奖励规划、正则化采样设计与共享岭回归估计器，在无需知道难度参数 ρ* 的情况下，以至少 1-δ 的概率达到 ε 精度，且样本复杂度对策略数 K 仅呈对数依赖。其理论保证无需二阶矩特征值的数值下界，且不显式依赖上下文与动作空间的大小。
arXiv stat.MLAI 评分2828 浅层神经网络为何优先学习正弦分量：基于正交多项式动力学框架的解释
研究人员提出了基于正交多项式的动力学分析框架，从理论上解释浅层神经网络为何存在优先学习低频正弦分量的谱偏置（F-principle）。该研究将网络输出在正交多项式基下展开为广义傅里叶级数（GFS），并将 GFS 系数的梯度下降动力学建模为常微分方程。通过分析动力学矩阵 H 的特征值衰减与分级结构，该框架可推广至 sigmoid 和 ReLU 等通用激活函数，并避免有限域傅里叶分析中的混叠效应。
arXiv stat.MLAI 评分3232 倾斜采样问题：乐观主义、后验采样与对数遗憾
研究人员提出了在线学习框架“倾斜采样”，旨在从未知奖励函数诱导的 Gibbs 分布中采样以生成多样化高质量输出。该框架将采样遗憾定义为温度归一化的累积 KL 散度，证明其受置信宽度平方控制，在固定温度下可实现随 $T$ 对数增长的遗憾界。研究还提出了 UCB 和 Thompson 采样对应的采样算法 UCS 与 TS$^2$，为 RLHF 等软优化场景提供了统一的遗憾分解与理论保证。
arXiv stat.MLAI 评分3535 可解主题模型中的学习理论：上下文学习先于专业化出现
一项新研究通过可解主题模型提出了序列模型的学习理论，解释了上下文预测器与专业化预测器在不同样本复杂度下的竞争机制。理论表明上下文预测器在训练早期就会出现，而存储有限主题混合的专业化预测器仅在训练 token 数量超过数据生成过程的参数量后才会形成。训练后的 Transformer 在无需拟合参数的情况下完美复现了理论预测的规模与转换分界点。
arXiv stat.MLAI 评分2828 基于优化确定性等价的高效风险敏感离线强化学习理论证明
研究人员提出了基于优化确定性等价（OCE）的高效风险敏感离线强化学习框架，涵盖动态与静态两种 OCE 表述。在表格型设定下，研究团队设计了悲观值迭代算法，并证明了紧致的次线性次优界与极小化极大下界。针对大状态空间，团队进一步提出基于线性函数近似的悲观最小二乘值迭代算法，给出了显式依赖特征维度 d 的理论保证。
arXiv stat.MLAI 评分2626 基于轻量级离散响应连续潜变量模型的合成表格数据生成方法
研究人员提出一种用于包含连续与离散变量表格数据的轻量级建模算法，通过经验边缘分布与分位数函数将数据映射至连续潜空间，并高效拟合多元高斯等分布。针对离散变量在潜空间中对应区域而非单点的不确定性，该方法引入蒙特卡洛期望最大化（MCEM）框架，将辅助目标转化为加权潜空间似然，可直接利用传统极大似然估计器进行优化。
arXiv stat.MLAI 评分3535 AI 安全投资的市场激励机制研究
该博弈论模型研究了由上游大语言模型提供商与多家竞争性下游企业组成的 AI 供应链中，利润最大化如何影响安全投资。研究发现，下游竞争通常促使下游企业投入超过行业利润最优水平的安全投资；相比之下，上游提供商因无法完全获得安全投资带来的剩余，可能出现投资不足。研究还进一步分析了不同监管干预措施对参与者激励、利润及最终模型安全水平的影响。
arXiv stat.MLAI 评分2929 基于逻辑连贯性的精确稳定无标签校准凭证研究
研究针对缺乏真实标签的查询条件概率预测器，利用极小极大定理推导出基于下注限制的精确无标签校准残差下界。研究通过引入Lipschitz下注构建了稳定下界，并在独立同分布数据流上实现了固定时间跨度及随时有效的校准凭证。在4个预测器和2个数据集的预注册实验中，7个证实性凭证全部为正，验证了校准偏差的存在。
arXiv stat.MLAI 评分3333 测试时 LLM 集成中的两个样本量：带缓冲的 ERM 与极小化极大理论
研究针对测试时通过生成并聚合多个答案来提升大语言模型表现的加权集成方法，分析了带标签问题量 Q 与每个问题生成量 N 两个样本量的相互作用。在指数为 β 的间隔条件下，带校准间隔缓冲的经验风险最小化（ERM）可达到 Q^{-1/2} + N^{-β/2} 阶的超额风险。极小化极大分析进一步揭示了三种机制，并证明问题充足时超额风险存在 N^{-β} 的识别下限。
arXiv stat.MLAI 评分3030 通过模型无关重要性度量控制错误发现率
研究人员提出名为 MAS（Model-Agnostic Selection with agent-X importance）的新方法，作为 Model-X knockoffs 的补充，利用样本分割策略和新型变量重要性度量来规避对协变量的分布假设。
arXiv stat.MLAI 评分2626 对数损失下量子态在线学习的后悔下界及其在量子态层析与矩阵均值置信序列中的应用
研究者确立了对数损失下量子态在线学习的后悔下界，证明了指数权重法与 Tseng 等人（2025）算法在维度上具备最优的多项式依赖关系。基于该下界分析，团队提出了一种在样本量上达到对数多项式因子近乎样本最优的量子态层析算法。此外，研究还开发了一种用于构建矩阵值随机变量均值置信序列的算法，并在数值实验中展现出与现有方法相当的竞争力。
arXiv stat.MLAI 评分3333 CleanRM：利用少量干净反馈解决 RLHF 噪声反馈奖励建模
研究人员提出 CleanRM，利用少量干净反馈通过最优传输来校准样本级噪声比，解决偏好数据中样本噪声不均导致的奖励建模偏差。该方法将带噪反馈反转的偏好联合分布与干净反馈对齐，并使用噪声修正的替代损失训练奖励模型，理论上证明其目标函数对干净风险是无偏的。实验表明，CleanRM 性能优于现有去噪基线，带来了更有效的下游 RLHF 对齐。
arXiv stat.MLAI 评分2929 基于逆向 KL 张量化的重尾单边 McDiarmid 型不等式
研究者提出了一种针对重尾分布的单边 McDiarmid 型不等式，证明了几乎必然有上界且满足阶数 $p\in(1,2]$ 条件矩假设的独立随机变量函数，其超出均值的大偏差概率呈指数衰减。当 $p<2$ 时，该结论在函数具有无限方差的情况下依然成立。该证明依赖于提出的逆向 KL 张量化不等式，可应用于样本均值与中位数均值估计量的集中性分析，以及无界损失的单边一致风险界。
arXiv stat.MLAI 评分2727 论梯度裁剪方法的末迭代收敛性
研究人员首次证明了 Clipped-SGD 在重尾噪声环境下以高概率成立的最优末迭代收敛速率，填补了该领域的理论空白。传统 SGD 在重尾噪声下面临发散或表现不佳的问题，而结合了梯度裁剪的 Clipped-SGD 虽在实践中表现良好，其末迭代收敛性质此前却缺乏充分研究。
arXiv stat.MLAI 评分4242 RSHD：通过回溯反思蒸馏从全失败尝试中恢复监督信号
研究人员提出基于重放筛选的回溯蒸馏方法（RSHD），可在 GRPO 训练期间将失败推理转化为经测试的额外监督来源。该方法让策略在不接触参考答案的情况下针对失败尝试生成修正提示，并在重放成功率更高时将其蒸馏回原策略，从而从全组失败中恢复学习信号。实验表明，RSHD 在多个模型家族、尺寸及两个训练领域中均持续优于 GRPO，收益可泛化至域外评估集。
arXiv stat.MLAI 评分2727 用于多数据流最速突变检测的 MoE 框架
研究人员提出了一个用于最速突变检测（QCD）的混合专家（MoE）框架，通过多个专家生成检测统计量序列，并在其加权和超过阈值时判定发生突变。该框架应用于多数据流 QCD 场景，可克服广义似然比最优算法计算成本高昂的问题。在实值高斯均值漂移数据和高维 GB-RBM 数据上的仿真实验表明，该 MoE 算法性能超越了基于 Shiryaev-Roberts 统计量的 RWS 方案。
arXiv stat.MLAI 评分4040 SurvICL：用于上下文内心衰与生存分析的基础模型
研究人员推出用于上下文内生存分析的表格基础模型 SurvICL，可在无需微调的情况下直接预测生存曲线。该模型在基于新型比例优势先验生成的纯合成数据集上通过分位数回归损失预训练。在包含 103 个数据集的基准测试中，SurvICL 在 63 个保留数据集上的综合 Brier 得分两两对比胜率达 82.9%，击败了 20 个基线模型并首次超越经典的 Cox 模型。
arXiv stat.MLAI 评分3535 控制回路中的神经网络训练与部署：离线学习引发的分布偏移及在线自适应机制
离线训练的神经网络部署于闭环控制系统时会改变状态分布并引发轨迹发散。研究提出了统一分类法，将该过程的形式化失效模式分为闭环辨识误差、动作误差与持续跟踪误差，并通过离散时间敏感性分析证明离线参数必然因局部损失几何特性导致性能下降。为此提出的时间尺度分离在线自适应策略在非线性达芬振子（Duffing oscillator）消融实验中得到验证，成功通过有界持续学习抑制了轨迹发散。
arXiv stat.MLAI 评分2929 重新审视连续剔除（Successive Rejects）算法
研究者提出了优化阶段长度调度的 $H_1$-SR 算法，改进了固定预算最佳臂识别的经典 Successive Rejects 框架。在同方差高斯臂设定下，对于任意 $K\ge2$，$H_1$-SR 均能达到所有自适应算法最优归一化速率的至少 11/12，并在 $K\to\infty$ 时收敛至 1。在 10 个合成实例和 2 个高斯基准测试中，该算法在有限预算下取得了显著提升。
arXiv stat.MLAI 评分3131 面向外部决策者的实验设计
研究提出“使用感知实验设计”（usage-aware experimental design）框架，扩展了假定仅由实验者自身决策的传统贝叶斯实验设计（BED）。该框架通过训练自适应策略来最小化“使用风险”，即外部黑盒或非贝叶斯规则处理收集数据时实验者的预期损失。研究证明在此类规则下更多信息可能带来危害，该框架严格泛化了标准 BED。
arXiv stat.MLAI 评分3636 SelectPFN：基于先验数据拟合网络的高摊销贝叶斯变量选择方法
研究者提出面向稀疏非线性回归的 SelectPFN 模型，能在单次前向传播中联合完成贝叶斯变量选择与预测，并输出所有变量的后验纳入概率。该网络基于群组 spike-and-slab 稀疏输入先验完成预训练，结合 knockoff 特征可实现精确的有限样本错误发现率（FDR）控制。
arXiv stat.MLAI 评分2525 基于期望最大化算法应对元素级污染与部分观测数据的稳健协方差估计
针对元素级污染与缺失数据场景，研究团队提出一种基于随机逼近期望最大化（SAEM）算法的稳健协方差估计方法。该方法将 Student-$t^*$ 模型的推断扩展至不完整观测，把坐标级尺度的随机更新与 Rao-Blackwellized 高斯条件矩结合，避免显式采样潜在高斯变量。
arXiv stat.MLAI 评分3737 条件均值流：面向基于模拟推断的少步密度估计
研究人员提出用于后验与似然估计的条件均值流（conditional mean flows），将少步采样与易计算的密度评估相结合。该方法通过独立掩码直接估计边际似然，在保持基于流的密度估计器灵活性的同时大幅缩短推理时间。实验显示，单步条件均值流密度评估的误差与 200 步 flow matching 相当，并使下游 MCMC 采样提速约 200 倍。
arXiv stat.MLAI 评分3636 Muon 何时最优？径向脆弱性与 Minimax 几何
研究探讨了神经网络训练优化器 Muon 采用近似极因子更新的最优性条件及其曲率解释的稳定性。研究者引入随机半径各向同性曲率模型（RR-ICM），证明平均曲率解释存在径向脆弱性，无原子径向分布会导致零容量刚性。为此提出的 Minimax RR-ICM 表明，在球面概率分布的最坏情况下，非零全局极小值严格落在梯度的极射线上，为 Muon 的极方向提供了极小化极大变分表征。
arXiv stat.MLAI 评分3333 基于狄利克雷过程的深度神经网络无维度 PAC-Bayes 泛化界
研究人员提出通过狄利克雷过程（DP）将先验从参数空间转移至数据分布空间，构建出与网络参数量、宽度和深度完全无关的无维度 PAC-Bayes 泛化界。该方法利用数据处理不等式使参数空间相对熵受限于数据空间 DP 散度，避免了过参数化网络中泛化界失效的问题。
arXiv stat.MLAI 评分3232 零样本条件离散扩散中的 Score 不匹配与集合约束采样
该研究针对零样本条件离散扩散生成提出了首个 score 不匹配理论分析，推导出通用的 KL 散度上界以量化不匹配带来的偏差。分析涵盖文本填空、句子补全等逐坐标集合约束，证明经典 Conditional SEDD 采样器的偏差会随维度、词表大小和兼容性缩放。研究据此提出 Randomized Hard Clamping（RHC）采样器，数值与真实数据实验验证了其有效性。
arXiv stat.MLAI 评分3030 本地差分隐私下单变量密度的不可知高效学习
研究人员提出了一个在非交互式本地差分隐私（LDP）下学习分段多项式可逼近结构化单变量分布的通用框架。该方法首次为对数凹分布混合（如高斯混合模型 GMM）等分布族提供了样本高效、计算高效且具备不可知（agnostic）保证的学习算法。此外，该工作还证明了 LDP 下学习 GMM 的更优下界，并开发了大域合成数据生成的高效算法。
arXiv stat.MLAI 评分3535 高斯变分推理中的加速机制及其局限性研究
研究探讨了经典动量加速能否将强对数凹、对数平滑目标分布的高斯变分推理（GVI）条件数依赖从 $\kappa$ 优化至 $\sqrt{\kappa}$。在精确高斯期望下，GVI 的凸复合形式可实现经典的 $\sqrt{\kappa}$ 加速收敛率；但在仅有逐点导数时，任何随机算法均需 $\kappa^{1-o(1)}$ 次查询。
arXiv stat.MLAI 评分2727 面向群体特定扩散模型的两阶段 Score 估计方法
研究者提出了一个用于扩散迁移的统计框架，通过结合共享的汇总 score 与目标特定偏移量来建模相关分布。该理论推导了收敛速率并分离出两部分的学习成本，证明了在扩散时间趋近于零时偏移量保持有界且具备联合正则性，从而为扩散模型作为密度估计器提供了总变差保证。合成模拟和图像基准测试为该框架提供了概念验证。
arXiv stat.MLAI 评分3030 径流极端值下集成离散度失效研究：排序正确但规模低估
研究发现用于径流预测的深度学习模型（如 LSTM）在极端流量下存在严重的集成离散度不足，预测误差在常态下是修正离散度的约 2x，在最高流量下可达 4x，超出训练记录的极端观测中差距甚至达 18x。尽管其不确定性排序指标 AUSE 接近完美（0.071），但仅按预测流量排序也能达到类似效果。这种排序有效性掩盖了规模低估，导致模型在关键极端事件中系统性低估风险。
arXiv stat.MLAI 评分3232 随机梯度下降（SGD）：非线性时间序列视角
研究者从迭代随机函数框架出发，探讨了常数步长随机梯度下降（SGD）的统计学性质。通过证明 SGD 的几何矩收缩（GMC），该研究直接在欧几里得距离下建立了收敛性，并证明了平均 SGD（ASGD）在任意初始化下的淬火中心极限定理与 $\alpha$-稳定收敛。此外，研究还利用多步长增强 Richardson-Romberg 外推法降低估计偏差，并提出了新的在线推理方法。
arXiv stat.MLAI 评分2727 面向删失结果的灵活双重稳健代理因果推断框架 PSB
研究者提出了 Proximal Survival Bridge learning（PSB），一种用于存在未测量混杂且含右删失生存结果的灵活双重稳健代理因果推断框架。
arXiv stat.MLAI 评分2727 时间分割高斯过程混合模型（TPGPMM）
研究者提出了时间分割高斯过程混合模型（TPGPMM），这是一种用于识别时间序列中持续状态并建模非平稳依赖关系的贝叶斯非参数框架。该模型将连续分段上的自适应 Pitman-Yor 先验与特定状态的高斯过程结合，并通过 split-merge Metropolis-within-Gibbs 采样器联合学习变点与超参数。
arXiv stat.MLAI 评分4242 完备或稀疏：神经网络表征可识别性的双重视角
针对神经网络何时能恢复真实潜在变量的可解释性难题，NeurIPS 2026 论文从因果方向提出了生成与判别两种设定下的可识别性理论证明。在生成设定中，非负激活与能量效率约束可促使单个神经元精准编码单一潜在变量；在判别设定中，结合稀疏性与压缩感知结构，稀疏字典学习能实现欠完备非线性 ICA 的可识别性。该理论预测已在合成基准以及视觉模型、大语言模型和猕猴下颞叶皮层的激活数据上完成验证。
arXiv stat.MLAI 评分3535 流映射训练的稳定性与收敛性研究
该研究为流映射（Flow Map）训练中停止梯度算子和自适应加权等经验技巧提供了理论解释。通过分析 MeanFlow 与 Lagrangian 损失诱导的泛函梯度流，研究证实了其收敛到真实流映射的有效性，并指出有限步更新可能无界的问题。结合自适应归一化与特定重加权方案可确保有界更新及邻域收敛，合成数据与图像实验均验证了该训练动态分析。
arXiv stat.MLAI 评分3232 图可加性模型解耦特征、拓扑与交互：AMIGA 架构
研究人员提出图可加性模型 AMIGA，通过挖掘的主题词表表征拓扑结构，并将节点贡献解耦为特征、结构及特征-结构交互三个加性通道。在 10 个图分类与回归基准测试中，AMIGA 在多数数据集上超越了 GNAN，并缩小了与标准黑盒 GNN 的性能差距。模型各通道围绕图平衡基线中心化，可生成精确重构模型输出的多粒度节点局部解释。
arXiv stat.MLAI 评分3131 用于稀疏观测随机场的潜空间退火后验采样方法 LAPS
研究人员提出了结合保方差桥的潜空间退火后验采样方法（LAPS），用于解决稀疏观测下随机场的后验推断难题。该方法先将随机场降维映射至潜空间并用 Flow Matching 学习先验，再通过退火过程完全在潜空间执行后验采样。
arXiv stat.MLAI 评分2525 列表可复现性的多对数上界简短证明
研究人员针对包含 $N\ge 2$ 个域点上 $M\ge 2$ 个二元概念类的列表可复现数，给出了一个简短且自洽的证明。该研究证实了其多对数上界为 $O(\log^2 M\log N)$，沿用了此前 Zhang 提出的总体思路，但采用了更为简化的论证过程。
arXiv quant-phAI 评分2626 冒泡排序交换网络：纯交换自旋链的对称选择定则与语言模型蒸馏
研究人员构建了基于纯交换自旋量子比特的变分冒泡排序交换网络，推导出总自旋守恒下的对称选择定则，并在无噪声模拟中将 GPT-2 受限词表上的下个 token 概率分布蒸馏至该网络。