从熵视角看 AI 弹性、极简数据学习与最优控制
研究提出从熵优化视角量化对抗算法，以数学准则证明对抗攻击的全局最优性与唯一性，并构建出能生成最优训练数据点的自攻击学习算法。该算法仅需极少训练数据即可训练复杂系统中的最优控制，且在水动力学和生物医学的真实及合成问题中，模型复杂度大幅降低。其预测性能与复杂度表现超越了提升随机森林、深度神经网络及基于 Transformer 架构的基础模型。
全部AI 动态
全部动态
今日 20 条arXiv stat.MLAI 评分3131 arXiv stat.MLAI 评分3939 用于逻辑与规划任务的候选集扩散模型 Binary Discrete Diffusion
研究者提出了 Binary Discrete Diffusion，一种将每个位置的噪声状态表示为二进制候选 token 集合的连续时间离散扩散模型。该方法通过增删候选集合逐步损失和恢复信息，使扩散状态能显式表达部分未确定的不确定性。
arXiv stat.MLAI 评分2828 神经网络模型更偏好其子模型吗？
研究通过几何框架探讨了神经网络模型是否会偏好其子模型，即损失函数的局部极小值是否落在子模型中。研究表明浅层多层感知机中含未激活隐藏神经元的子网络绝不会被偏好，并给出了深层多层感知机不偏好此类子网络的条件；对于 lightning 自注意力机制，低秩子模型通常也不被偏好。结果指出除少数位于模型边界的特例外，模型对子模型的偏好无法仅通过模型几何结构解释，必须归因于训练动态等其他因素。
arXiv stat.MLAI 评分3030 用于图信号生成的稳定滤波器研究
研究人员针对结合图滤波器与图神经网络的连续时间生成模型，提出了用于图信号生成的稳定滤波器设计框架。该研究推导了量化图扰动对生成信号分布影响的 Wasserstein 稳定性界限，并提供了一类兼具可证明稳定性与信号平滑平衡的多项式滤波器。合成图与真实 fMRI 信号的实验表明，该方法在保持生成性能的同时增强了结构稳定性。
arXiv stat.MLAI 评分3636 合成数据训练何时能在理论上保证有效？
研究探讨了在共享条件标签分布下，使用合成数据训练的二分类器能否成功迁移至真实数据分布。理论表明，当真实分布超出合成数据范围时，合成数据风险无法单独控制真实误差，对抗分类器在合成域误差仅 0.5% 却在真实域达到 99.25% 误差；但在 Lipschitz 条件下仍可恢复迁移误差界。
arXiv stat.MLAI 评分2727 多分类中的最优聚合
该研究将分类器聚合理论推广至多分类场景，证明了在 0/1 损失下最优聚合收敛率与类别数 K 无关。在此损失下，ERM 聚合在模型选择中达到速率最优，在凸聚合中仅相差 sqrt(ln(K)) 因子。针对多项逻辑损失下凸包内正常聚合率随 K 恶化的局限，提出的非正常概率混合聚合恢复了与 K 无关的最优收敛率。
arXiv stat.MLAI 评分3131 在线保形预测在数据流中的实际优势
研究对比了四种序列保形回归方法与加权全保形基准在数据流中的经验覆盖率、区间宽度和计算成本。实验在合成分布偏移与四个真实数据流中表明，同时调整回归模型和保形阈值能显著改善漂移下的覆盖率与宽度权衡。其中分位数追踪方法单步仅需 $O(p^2)$ 时间和内存，且与流长度无关，但在突变后覆盖率可能出现退化。
arXiv stat.MLAI 评分3434 经验去噪器的隐私核算
针对扩散模型采样阶段的隐私损失，研究者构建了免训练的裁剪经验去噪器，通过显式计算单步敏感度实现差分隐私核算。研究发现隐私损失在语义内容形成的关键窗口期急剧上升，据此设计了前段采用私有经验去噪、后段切换至公开神经去噪的混合采样器。CIFAR-10 和 CelebA-64 实验表明，采样时策略同样直接影响扩散模型的隐私性。
arXiv stat.MLAI 评分3131 Pattern Intelligence：基于无监督聚类与 LLM 解读的医疗拒付与少付模式发现系统
研究人员提出了已投入实际部署的系统 Pattern Intelligence，通过无监督方式识别医疗收入周期管理中的系统性拒付与少付模式。该系统将索赔映射为 130 维向量并基于 HDBSCAN 聚类裁定行为，再由大语言模型将聚类中心转化为包含主要程序与失效模式的分析报告。在涵盖约 10K 与 157K 索赔的生产租户评估中，研究发现约三分之一至二分之一的高金额拒付属于无法聚类的长尾问题。
arXiv stat.MLAI 评分2626 用于多视角多队列数据整合的二维增强缩减秩回归方法 BARRR
研究人员提出了用于多视角多队列数据整合的二维增强缩减秩回归（baRRR）方法，填补了现有双维度整合多为无监督且忽略协变量信息的空白。该方法能同时对协变量相关与无关效应进行建模，并在两个维度上分解全局、部分共享和个体层面的效应。仿真实验与 TCGA 癌症数据应用表明，该方法在信号恢复、结果预测及缺失数据填补方面均具备显著优势。
arXiv stat.MLAI 评分2525 用于空间与时空点过程模型的分治神经贝叶斯估计框架
研究者提出了用于空间与时空点过程模型的分治神经贝叶斯估计框架，以解决似然推断计算受限及训练开销大的问题。该方法直接基于原始点模式实现，在时空域分区上采用 Transformer 架构，并通过注意力机制最优组合局部提取的统计摘要。实验表明其具备更优的可扩展性，在科德角湾鲸鱼呼叫数据分析中，训练后的估计器以可忽略的计算成本输出了参数估计与可信区间。
arXiv stat.MLAI 评分3333 从 POMDP 理论到结合粒子滤波的深度强化学习
研究者提出了一种实用的端到端 POMDP 算法，利用序贯蒙特卡洛（SMC）近似求解隐状态滤波、在线更新潜动力学模型，并执行基于 QMDP 近似的 d 步在线规划与状态价值 critic 自举。理论上证明了端到端遗憾界，将其分解为模型估计、粒子滤波、蒙特卡洛展开及规划深度可控的结构偏差等误差项。该算法在基于 MPC 的深度强化学习框架中实现，并在多种环境下验证了实用性。
arXiv stat.MLAI 评分2828 用于随机优化中多保真度估计的主动导引采样
研究人员提出一种用于随机优化中多保真度估计的主动导引采样框架，以降低高保真非线性模型在采样不确定性量化时的计算成本。该方法通过矩阵对数变换的相关性与对数标准差构建正定参数化，学习模型输出协方差矩阵的概率仿真器，并利用主动学习采集函数将导引样本分配至最不确定且最相关的设计区域。在四分支基准测试及对流扩散系统传感器放置等应用中，该框架表现优于单保真度 Monte Carlo 和简单导引采样策略。
arXiv stat.MLAI 评分2424 高维块非光滑正则化下近似留一法的精度理论研究
研究者分析了高维比例机制下促进块稀疏的启发式近似留一法（ALO）的理论精度。在块大小一致有界的假设下，证明了精确留一损失与其 ALO 近似之间的期望平均绝对误差达到 $O(\log^{3/2}(en)/\sqrt{n})$。该证明基于对全数据与留一估计器之间激活组状态变化数量给出的精确界，在更弱假设下提供了更强的理论保证与稳定性分析。
arXiv stat.MLAI 评分3434 MiCLA：面向复音音频表征学习的混合到成分隐空间对齐框架
研究人员提出自监督预训练框架 MiCLA，通过合成 log-mel 混合将复音音频的混合表征与其成分片段进行双向隐空间对齐。微调评测中，MiCLA 在 AS-20K 上达到 43.2% mAP，在 AS-2M 上达到 50.3% mAP，并在冻结凸门控探测（CGP）下取得同类评估模型中的最高 mAP。实验表明该定向对齐机制有效提升了多声音事件的表征与联合检索能力。
arXiv stat.MLAI 评分2424 用于含不依从集群随机试验直接与溢出效应的贝叶斯机器学习方法
研究人员提出一种用于在存在治疗不依从的集群随机试验中估计直接效应与溢出效应的贝叶斯机器学习方法。该方法结合贝叶斯加性回归树与集群级随机效应，并在贝叶斯 g-computation 框架下引入同伴治疗 clever covariate，以减少正规化对效应分解的失真。模拟实验显示该方法在模型设定错误时偏差更低，在肯尼亚小学驱虫项目应用中估算出个人治疗比同伴接受治疗的贡献更大。
arXiv stat.MLAI 评分2525 基于 LSTM 模型的非迭代条件期望 g-formula 插入式估计器
研究提出基于长短期记忆（LSTM）模型的非迭代条件期望（NICE）g-formula 插入式估计器，用于在存在治疗与混杂反馈时估计持续治疗策略的因果效应。在模拟 HIV 队列及足够大样本下，该估计器比参数估计器偏差更小，且达到了 95% 置信区间的接近标称覆盖率。这项工作为高维纵向数据因果推断中应用深度学习插入式估计器提供了原理性验证。
arXiv stat.MLAI 评分3535 VampPrior Unleashed：解耦协方差并引入狄利克雷过程改进深度隐变量模型先验
研究人员提出了 VampPrior 的改进方案，通过解耦先验与后验协方差并引入狄利克雷过程替换固定均匀混合权重，显著提升了模型证据并实现稳健的非参数聚类。将该先验应用于单细胞变分推断（scVI）后，在 6 个单细胞图谱上的细胞整合与聚类表现均得到提升。该方法仅修改先验分布，可直接推广至任何具有连续隐空间的深度隐变量模型。
arXiv stat.MLAI 评分3636 解决高斯混合模型的 Ho--Nguyen 猜想及其在混合专家模型（MoE）中的应用
研究者证明了高斯混合模型的 Ho--Nguyen 猜想，对任意聚类大小 $M\ge2$，其实数非零权重系统的确切密度抵消阶数为 $2M$。该结论给出了显式点态极大似然指数及收缩邻域内的精确局部 minimax 阶，并通过 110 位精度的总体密度计算得到验证。此外，该视角区分了混合专家模型（MoE）中的高阶抵消与精确参数对称性。
arXiv stat.MLAI 评分3030 用于电动汽车充电站罕见电网停电估计的机器学习控制变量方法
研究人员提出一种基于机器学习分类器的控制变量方法，利用温度和负荷预测等低成本特征降低蒙特卡洛模拟方差，以高效估计电动汽车充电引发的极端罕见电网停电概率。实验表明，单特征弱学习器可消除 25% 的方差，而提升树学习器能消除约 60% 的方差。在印尼泗水电网的应用中，该方法在相同模拟预算下将全市停电天数减少了三分之一。
arXiv stat.MLAI 评分2525 针对类别标签不确定且部分误设混合模型的模块化贝叶斯推理
研究者提出一种模块化贝叶斯推理框架，用于解决潜在群体类别标签不确定且非目标群体模型存在设定偏差（misspecified）时的后验推断失真问题。该方法利用固定类别概率将分类与下游推理彻底解耦，防止不可靠群体的似然贡献影响目标参数。计算上只需对标签分配进行采样并拟合受保护模型后取后验均值，已在合成实验与测光超新星宇宙学分析中完成验证。
arXiv stat.MLAI 评分3030 不适定信号恢复中后验扩散先验的 Hilbert 尺度稳定性分析
研究针对线性反问题中的后验扩散模型提出 Hilbert 尺度稳定性理论，在明确的 score 放大条件下推导出了非渐近恢复界。该理论界有效分离了观测噪声、score 近似误差与逆向时间离散化误差，并给出了由算子平滑度、真实信号正则度等共同决定的可恢复正则度阈值。结果还证明，相较于各向同性引导，适配前向算子的后验校正能在算子平滑作用最显著的正则度范围内提升稳定性。
arXiv stat.MLAI 评分3333 选择偏差下的差分隐私可靠评估
针对差分隐私审计中因成员推理攻击（MIA）引入选择偏差导致隐私泄露下界被高估的问题，研究人员采用统计学工具纠正了该偏差。对既往审计实现的重新分析表明，若不进行统计纠偏，审计违反理论上限的频率最高可达其声称置信水平的 4 倍；纠偏后得到的下界在统计上有效，违规率不再超过名义比率。
arXiv stat.MLAI 评分2626 掩码 MDP 的自白：结合动作掩码学习与最优策略搜索
针对强化学习中动作掩码计算瓶颈问题，研究者在线性 MDP 模型下探索了将最优策略搜索与动作掩码本身的学习相结合的方法。该框架首先提出基于确定性乐观优化的算法并证明其达 minimax 最优且计算高效，但其在非退化实例上表现次优。研究随后提出一种通过规划探索策略的替代高效算法，可视为确定性反馈下的信息导向采样类似物，并将其应用于无效动作集随时间变化的迁移学习场景。
arXiv stat.MLAI 评分2828 用于摊销贝叶斯半参数推理的去偏先验数据拟合网络（PFNs）研究
研究者提出了去偏先验数据拟合网络（PFNs）的理论基础，用于在通用半参数设定下对缺失均值或因果效应等有限维目标进行推理。研究引入了基于有效影响函数的标签修正与先验修正两种去偏策略，以加快目标后验收敛速率。去偏 PFNs 的收敛速率在渐近意义上匹配了传统频率派偏误修正估计量，并在特定假设下保证了伯恩斯坦-冯·米塞斯性质和极小化极大最优性。
arXiv stat.MLAI 评分2727 稀疏变分高斯过程的几何感知分块选择
针对稀疏变分高斯过程（SVGP），该研究提出一种几何感知分块选择算法，通过构建块对角缩放矩阵收紧变分下界，以在固定 inducing-point 预算下改善测试 RMSE 与 NLL。该算法计算开销低且复杂度明确，能通过数据划分恢复残差协方差矩阵对数行列式贡献，支持双随机优化框架训练，并可辅助为 SVGP 学习更优的超参数与 inducing points。
arXiv stat.MLAI 评分3535 受限观测下深度学习推理静默失效的预测机制：测量物理与先验信息的作用分析
研究针对受限观测下深度学习推理产生的「盲集」静默失效问题，提出一种通过线性化 VAE 先验近似参考风险的预测评分。在 2DeteCT X 射线 CT 数据的 240 项预设误差测试中，该评分对潜在 Laplace 和集成 Kalman 反演系统失效排名的 Spearman 相关系数达 0.79 和 0.84。但分析表明该评分相比物理基线并无显著提升，静默失效主要由测量可达性决定，而非习得先验。
arXiv stat.MLAI 评分2929 基于数据细化（Data Thinning）的 UCB 型高斯过程老虎机接近最优的遗憾界
研究人员通过引入数据细化（data thinning）统计技术，在高斯噪声假设下使 UCB 风格的高斯过程算法实现了接近最优的遗憾界。该方法在多臂老虎机设定下构建出更紧密的置信区间，不仅使 GP-UCB 的直接扩展版本达成接近最优的简单遗憾上界，与分阶段消除算法结合后更取得了接近最优的累积遗憾上界。数值实验进一步验证了该方法的有效性。
arXiv stat.MLAI 评分2323 含偏置深度神经网络的退火相关性与淬火噪声敏感性研究
一项新研究针对引入自然阶数独立高斯偏置的深度全连接神经网络，证明了其在较宽深度范围内仍保持淬火噪声敏感性。该性质在满足正相关条件且扰动输入与原始输入渐进不重合的极弱假设下即可成立。同时，退火协方差保持远离零，且完全由网络自身输出均值的波动所致。
arXiv stat.MLAI 评分3333 基于查询的协作强化学习框架 Ask to Learn
研究者提出了基于查询的协作强化学习框架 Ask to Learn，使学习者在拥有固定离线数据集的基础上，无需直接与底层环境交互，通过自适应查询“状态-时间”对并由协作方与模拟器返回反馈来克服离线数据覆盖局限。
arXiv stat.MLAI 评分3535 基于数据生成分布狄利克雷过程先验的贝叶斯神经网络及其在强化学习随机价值函数中的应用
研究人员提出了一种新型贝叶斯神经网络（BNN），通过直接在底层数据生成分布上设置狄利克雷过程（DP）非参数先验来量化认知不确定性，并基于此开发了强化学习算法 DP-DQN。该方法通过贝叶斯 Bootstrap 重新加权并注入生成先验假设，维护价值函数的后验分布以实现高效 Thompson sampling。这使得单个神经网络无需多网络集成开销，即可完成决定性的深度探索。
arXiv stat.MLAI 评分3131 警报评分因何变化？基于精确计算与稀疏事件估计的因果归因方法
研究人员提出一种在混合结构因果模型（SCM）状态上构建 Shapley 博弈的新框架，用于在稀疏事件数据下将警报评分变化归因到因果结构的变化机制中。针对有序线性 SCM 和二次评分，该方法利用一阶与二阶矩递归结合正交求积，在多项式时间内精确计算完整的 Shapley 向量并消除组合计算爆炸。实验表明该方案支持百量级变量扩展，并能在小样本事件数据下提供归因误差界与 top-k 恢复保证。
arXiv stat.MLAI 评分3535 超越标量排行榜：多目标 LLM 竞技场帕累托前沿识别的自适应采样算法
研究者提出了用于多目标 LLM 竞技场评测的自适应采样算法 VB-EGE，以高效率识别帕累托前沿（Pareto frontier）模型。该算法基于多目标 Bradley-Terry 模型，在积累足够统计证据后逐步剔除模型，具有高概率返回正确前沿的实例相关样本复杂度上界，并在对数因子意义下达到极小化极大最优。
arXiv stat.MLAI 评分3131 通用特征的通信复杂度研究
研究人员探讨了面向函数族评估的数据表示复杂度，构建出仅需 $O(d^{*}\log(1/\varepsilon))$ 比特编码长度的确定性编码器，其中 $d^*$ 为函数族的对偶 VC 维，误差至多为 $\varepsilon$。该编码长度在最坏情况下达到最优，且研究给出了两种基于无标签样本学习该表示的方法。实验验证了贪心构建方法的精度与大小权衡，并探索了其与神经稀疏自编码器的联系。
arXiv stat.MLAI 评分2828 基于浅层神经网络的扩散 Score 估计：正则性、逼近与有限样本收敛率
研究探讨了使用有限宽度浅层 ReLU 网络和去噪 Score 匹配（DSM）估计 Ornstein-Uhlenbeck 扩散 Score 的样本复杂度及反向采样效果。
arXiv stat.MLAI 评分2020 流形上 Besov 函数的高斯逼近与 Logistic 分类理论
该研究针对内在维度为 $\varrho$ 的紧致光滑流形，提出了基于高斯核逼近与正则化 Logistic 分类的快速预言机不等式。研究利用不同带宽的高斯核积分算子符号组合消除低阶偏差，克服了二阶饱和并实现了内在维度控制下的核范数界限。结合预测截断后，该方法在有界密度下的 Logistic 超额风险多项式指数与超额误分类风险均达到了极小化极大最优速率。
arXiv stat.MLAI 评分2828 稳健隐变量图模型：精确恢复与基本极限
研究针对分解为稀疏矩阵减去对称低秩矩阵的高斯精度矩阵，提出了一种基于测度变换协方差的凸估计器，可实现稳健的图结构与参数恢复。在对偶见证定理下，该估计器能唯一恢复真实秩与惯性，且无虚假边；惯性恢复需要 $N\gtrsim p/\nu_{\min}^2$ 的样本量。研究还证明了其在 Huber 污染下的稳健性，并给出了具闭式更新的全局收敛线性化 ADMM 算法。
arXiv stat.MLAI 评分3636 用于时间序列预测的动态双反馈共形推理 DDCI
研究人员提出了用于时间序列预测不确定性量化的动态双反馈共形推理（DDCI），该研究已被 NeurIPS 2026 接收。DDCI 结合了由真实观测驱动的实际反馈与基于经验阈值的估计反馈，在更新期间抑制预测区间的过度膨胀或收缩。该方法在时序环境下实现了更稳定且更窄的预测区间，同时在实际应用中保持了接近标称水平的覆盖率。
arXiv stat.MLAI 评分2424 严格可复现可实现学习：未知边际分布、有限类插值与共享随机性代价
该研究确定了边际分布未知条件下严格可复现可实现学习的样本复杂度，证明在大小为 $M$ 的有限类上最坏情况界为 $\Theta((\log M)^2)$。针对全布尔类 $P_d$，论文通过适定泊松化球采样算法给出了匹配的 $\Theta(d^2/(\varepsilon\rho^2)+\varepsilon^{-1}\log(1/\delta))$ 样本复杂度界，并给出了显式 Gibbs 上界。
量子位AI 评分2424 GTC2026 Shanghai 设立「AI 硬件专区」并开启展位与门票招募
GTC2026 全球流量大会（上海）将于 11 月 4 日至 5 日在上海世博展览馆 H3 馆举办，展会特别设立覆盖机器人、智能穿戴、AI 终端及具身智能等方向的「AI 硬件专区」。专区将联动「AI+出海峰会」与「AI 技术发展论坛」等硬核技术议程，展会预计迎来 1800+ 企业高管、120+ 优质展商与 15000+ 行业从业者。目前专区席位正在招募，普通门票限时开放免费领取。