序贯稀疏高斯过程分位数回归方法
研究人员提出了一种用于分位数回归的序贯稀疏高斯过程框架，通过诱导变量与拉普拉斯近似实现高效的后验推断与不确定性量化。该方法将预测不确定性分解为条件先验方差和后验诱导方差，驱动自适应的诱导输入填充与数据采集，将计算资源集中于主要不确定性来源并自适应控制模型复杂度。实验和船舶耐波性应用表明，该策略在有限仿真预算下优于预定义采集及文献中的重复采样方法。
#arXiv
#arXiv
今日 67 条arXiv stat.MLAI 评分2525 arXiv stat.MLAI 评分2424 再生核巴拿赫空间中具有样本路径的高斯过程研究
该研究探讨了高斯过程与再生核巴拿赫空间中高斯随机元之间的联系。作者证明了此类空间上弱二阶 Radon 概率测度的协方差算子由对称正定函数唯一确定，并在高斯情形下利用 $\gamma$-radonifying 算子表征了由协方差算子生成的函数。基于这些结果，研究进一步将 Driscoll 定理推广到了再生核巴拿赫空间环境。
arXiv stat.MLAI 评分3333 FRESH：基于信息几何将患者级模型校准至汇总证据
研究人员提出了 FRESH 方法，通过信息几何将人群层面的汇总结果（如已发表的临床试验或注册库摘要）整合到基于患者级数据训练的生成模型中。该方法能在信息几何意义上对原始联合分布进行极小扰动，使再校准模型匹配目标人群的汇总统计数据，生成患者级预测或用于后训练更新。该技术可应用于单臂临床试验背景分析、试验设计模拟及上市疗法有效性对比。
arXiv stat.MLAI 评分3434 用于学习稳定二值表征的复合激活函数
研究人员提出重尾激活函数（HTAF），作为 Heaviside 函数的平滑近似，以实现二值表征的稳定梯度优化训练。该函数由 Sigmoid 与双曲正切复合而成，在零输入附近保留较大梯度且尾部衰减更慢，能稳定训练脉冲神经网络与二值神经网络。基于此构建的隐式概念瓶颈模型（ICBM）实现了特征离散化，在图像数据集上取得媲美或优于标准模型的预测表现。
arXiv stat.MLAI 评分3737 具备随时有效保证的 AI 系统自适应审查
研究者提出了一种具备随时有效保证的 AI 系统自适应审查框架，利用安全随时有效推断（SAVI）与同步 e-processes 构建对决假设检验。该框架将审计过程形式化为通过下注进行检验，通过审计即可在理论上证明系统具备全局鲁棒性。实验表明，该方法能严格控制随时有效的 I 类错误，性能优于预设测试，有时仅需 20 个样本即可得出严谨结论。
arXiv stat.MLAI 评分3131 面向标签噪声分类的模型无关信息迁移与融合
针对大规模含噪标注数据与少量专家验证干净数据共存的场景，该研究提出了一种通用的模型无关非参数分类框架。该方法利用小规模干净数据集提纯大规模含噪数据，并精细处理剩余的模糊样本，克服了传统方法对参数相似性假设的依赖。该框架拥有严谨的统计理论支撑，已在模拟实验及肺炎诊断医疗影像分析中验证了实际性能。
arXiv stat.MLAI 评分3737 MoE Transformer 的泛化与缩放定律研究
研究者提出了针对 MoE Transformer 的泛化与缩放理论，将每个输入的激活容量与路由组合机制有效解耦。通过推导覆盖数界并结合经验风险最小化（ERM）分析，证明其逼近与估计误差权衡在计入激活参数后与稠密网络一致，并证明误差可通过扩展激活容量或增加专家数量来降低。该研究据此推导出了涵盖模型规模、数据量及计算最优权衡的神经缩放定律。
arXiv stat.MLAI 评分2525 二值语义分割在模拟类别不平衡与标签偏移下的主动学习研究
研究人员针对机器视觉中缺陷样本稀缺与存储受限导致的偏差问题，提出了一套基于两个开源数据集的受控可复现实验方案，用于模拟不同程度的类别不平衡与标签偏移。实验对比了随机采样、基于熵的选择、核心集选择以及感知不平衡的 galaxy 采样四种主动学习策略。结果表明，基于熵和核心集的选择在高不平衡数据下依然优于随机采样，并量化了严重标签偏移带来的效率损失。
arXiv stat.MLAI 评分2828 协变量辅助图匹配研究
针对含有节点和边协变量的带种子图匹配问题，该研究提出了基于二次分配问题（QAP）的全局方法和基于种子邻域的可扩展局部方法。该框架支持通过广义线性模型至机器学习方法整合协变量，并推导了广义线性模型的估计误差率及 QAP 精确恢复真实对应关系的充分条件。仿真实验与学术谱系网络匹配均证实引入协变量能显著提升匹配表现。
arXiv stat.MLAI 评分3333 用于可解释多变量时间序列异常检测的结构化时序因果框架 OracleAD
研究人员提出了用于多变量时间序列异常检测的无监督框架 OracleAD。该方法将每个变量的历史序列编码为因果嵌入向量以联合预测当前时间点并重构输入窗口，并通过自注意力机制将其映射到共享潜空间并与代表正常关系的稳定潜在结构（SLS）对齐。系统基于预测误差和 SLS 偏离度实现双重评分与细粒度归因，在多个真实数据集和评估协议上达到 SOTA 水平。
arXiv stat.MLAI 评分3434 记忆长尾数据可通过组合提升模型泛化能力
记忆长尾数据与简单组合的协同作用能提升模型泛化能力。理论证明，在线性设定下，记忆结合组合能力可帮助模型在测试中对包含多个长尾特征组合的罕见样本做出正确预测，即便该特征组合从未在训练数据中出现。简单数据上的神经网络架构实验表明，该结论可拓展至线性设定之外，且模型的组合能力取决于其网络架构。
arXiv stat.MLAI 评分2929 熵正则化变分目标次优性的可计算度量：核梯度差异 KGD
研究者针对熵正则化变分目标引入了名为“梯度差异”的新型次优性度量，并提出可显式计算的核梯度差异（KGD）。在无法获取未归一化密度函数的情况下，KGD 支持开发并对比新型采样算法，包括 Stein 变分梯度下降的推广，并已应用于平均场神经网络和预测导向后验。理论上，该工作确立了 KGD 具备连续性及收敛控制等性质的充分条件。
arXiv stat.MLAI 评分3636 合成数据能否复现流行病学真实结果？基于对抗随机森林的复现研究
研究提出利用对抗随机森林（ARF）合成流行病学表格数据，并在涉及血压、心肌梗死与糖尿病等 6 项流行病学研究中成功复现了原始统计分析。实验表明，ARF 生成的数据在描述性和推断性分析中均与真实结果高度一致，即使样本量相对维度偏低也表现稳定。对比常用表格合成工具，ARF 在数据效用、隐私保护、泛化能力及计算效率上均展现出显著优势。
arXiv stat.MLAI 评分2626 用于非平稳时间序列条件独立性检验的动态广义协方差测度
研究人员提出了首个适用于单次实现的非平稳非线性过程的条件独立性检验框架。该检验基于动态广义协方差测度，针对期望条件协方差在部分时刻非零的备择假设具备检验功效。其关键技术包括时变非线性回归、误差过程乘积的局部长期协方差矩阵估计，以及分布一致的强高斯逼近。
arXiv stat.MLAI 评分3131 优化保形选择（OptCS）：数据驱动打分构建下的高效选择性推理
研究者提出了通用框架 OptCS，能在灵活的数据驱动打分构建后进行有效的多重检验，并在大幅复用数据的情况下控制有限样本的 FDR。该框架给出了候选打分函数筛选、无需样本分割的全标注数据训练，以及二者结合的三种具体控制程序。仿真实验以及药物发现与大语言模型实际应用证明了该方法的有效性。
arXiv stat.MLAI 评分2727 基于动态权重解决标签不平衡的100种语言多标签情感分析
研究人员提出一种支持100种语言的多标签跨语言情感分析框架，通过动态加权方法在训练中平衡各类别贡献，并引入适应多标签场景的 focal loss。该方法还包含可在现行时间复杂度内最大化 macro-f1 分数的类别阈值选择机制，单个模型在3种语言的9项指标中有7项达到SOTA性能。相关模型代码已公开发布。
arXiv stat.MLAI 评分3131 选择后泛化的局限性
一项新理论研究揭示了满足选择后泛化（又称事后泛化）算法的若干核心局限。研究证明，在回答自适应选择的统计查询时，任何满足事后泛化的算法误差都存在紧确下界，构成了该领域发展的关键障碍；同时还证明事后泛化在复合运算下并不封闭。
arXiv stat.MLAI 评分3434 保留还是适应？泛化持续学习
新研究质疑了持续学习过度注重缓解灾难性遗忘的传统设定，指出非平稳环境中保留旧知识会阻碍实时适应。研究提出迁移效率指标与关键任务持续时间阈值，量化了历史知识由预热优势转为优化负担的临界点。团队还提出了预测性持续学习（Predictive Continual Learning）框架与 Window 算法，在图像分类与强化学习基准上验证了其适应优势。
arXiv stat.MLAI 评分2727 Bandit 反馈下多变点识别的样本复杂度研究
针对在 Bandit 反馈下定位分段常数函数多个变点的任务，研究者提出了一种先检测变点候选区间再逐步精细化定位至目标精度 $\eta$ 的自适应算法。该研究建立了非渐近样本预算的理论上下界，打破了以往认为渐近复杂度仅由跳跃幅度决定的认知，理论与实证均表明在一般置信度 $1-\delta$ 与精度 $\eta$ 下，样本复杂度由跳跃幅度与变点相对位置共同决定。
arXiv stat.MLAI 评分3131 在高斯过程情境老虎机优化中利用凹性信息
研究人员提出一种利用凹性信息的高斯过程（GP）情境老虎机算法，将贝叶斯 GP 后验以凹性约束为条件来提升优化效率。该方法结合保持凹性的回归样条基构建出具备理论遗憾保证的 UCB 算法，性能不劣于且在凹性信息有效时严格优于标准 GP-UCB。基准测试与 Warfarin 给药应用实验表明，该算法大幅降低了累积遗憾。
arXiv stat.MLAI 评分3434 几何代数神经网络综述
一篇新发表的综述系统梳理了几何代数神经网络的构建模块、等变性、应用领域及软件支持。论文提供了代数选择指南与失效模式分析，指出其最强优势体现在具有显式几何对称性与异构几何实体的场景中。研究表明该架构并未全面超越调优后的非几何代数等变基准，并在数值稳定性、可扩展实现及复现评估等方面仍存在开放挑战。
arXiv stat.MLAI 评分3232 卷积神经网络中局部性与权重共享的作用
一项理论研究解构了卷积神经网络中局部性与权重共享的作用机制，发现在无空间相关输入下卷积架构的学习速度比局部连接精确快 $P$ 倍。局部性直接决定样本复杂度，核尺寸匹配时仅需 $\mathcal{O}_{D}(D)$ 样本，核过大则增至 $\mathcal{O}_{D}(D\log(D))$。空间相关性会削弱权重共享优势，在按训练时长调整学习率时，局部连接网络在早期占优，卷积网络则在后期胜出。
arXiv stat.MLAI 评分3939 通过 Dreaming Learning 缓解模型崩溃
研究提出利用高温采样训练的 Dreaming Learning 方法，以缓解生成模型在合成数据训练中出现的多样性丧失与模型崩溃。该方法通过展平预测分布使学习算子的特征值远离单位圆，从而持续维持对状态空间的探索能力。经 5000 代迭代测量，该缓解效果在 LSTM 语言模型及 124M 参数的 GPT-2 上均得到验证。
arXiv stat.MLAI 评分3636 掌握模型拟合：InterModel Vigorish 在可解释机器学习中的应用
研究人员将 InterModel Vigorish（IMV）引入机器学习领域，通过将拟合度差异表示为相比参考模型的预期博弈优势来解释概率拟合。该研究提出了用于特征归因的 SHAP-IMV、多分类评估的 Multi-IMV 和消融分析的 Ablate-IMV，并在表格、图像、传感器序列和图数据上通过 10 个随机种子完成评估。相关代码已通过开源库 imvpy 和配套 Notebook 发布。
arXiv stat.MLAI 评分3535 DiT 如何去噪？从注意力与 MLP 的“聚合器-预测器”视角解析
DiT 被研究提出可视为输入自适应的局部去噪器，其中 AdaLN 调节的注意力机制充当上下文聚合器，MLP 承担 patch 预测角色。理论证明高斯马尔可夫随机场先验下去噪误差随上下文半径呈指数衰减。在 CelebA64 实验中，使用共享内存 patch 预测器替代 DiT MLP 取得了具竞争力的生成性能，跨数据集移植亦验证了各组件分工。
arXiv stat.MLAI 评分2929 非对称无似然假设检验研究
研究者提出了非对称无似然假设检验（LFHT），在参考分布样本预算不相等的情况下给出了可行样本三元组的对数级刻画，证明不等预算可带来多项式级样本节省。例如在常数区分度下，基于 P 的 n 个样本和 Q 的 n^(3/4) 个样本，仅需 D 的 O~(n^(1/4)) 个样本即可完成检验，优于现有基准的 Ω(√n)。
arXiv stat.MLAI 评分3636 视觉-语言-动作（VLA）策略的事后认知不确定性估计
研究人员提出一种面向视觉-语言-动作（VLA）策略的事后核方差头方法，无需梯度更新即可直接从单模型嵌入中估计认知不确定性。在 LIBERO-10 基准上对 SmolVLA 的测试显示，该方法在主动学习演示获取与求助代理上表现媲美双模型集成，同时将不确定性评分时间最多缩短约 50 倍并大幅削减设置成本。
arXiv stat.MLAI 评分3535 用于可解释分子性质预测的片段级图编码方法
研究人员提出一种基于 BRICS 分解的分子片段级图编码方法，将具备合成意义的分子片段作为图节点，实现官能团级别的模型解释。在 4 种图神经网络架构和 4 项任务测试中，该方法在图规模缩小约 5 倍的情况下保持了与原子级相当的准确率。
arXiv stat.MLAI 评分3131 低损失场景下的差分隐私专家在线预测
新研究针对差分隐私约束下的专家在线预测，提出首个后悔界达 $\tilde{O}(\sqrt{L^\star})$ 的算法，显著优化了最佳专家累积损失 $L^\star$ 远小于时间步长 $T$ 时的表现。
arXiv stat.MLAI 评分3636 BRIDGE：用于拦截模型更新中虚假提升的准入检验机制及回顾性临床评估
研究人员提出了与模型无关的更新准入机制 BRIDGE，通过交叉拟合和 Bootstrap 下界约束来拦截验证集上表现更好但在新数据上失效的虚假提升。测试显示，该机制在 12 项回顾性临床任务中将虚假提升率从朴素规则的 20.0% 降至 0%，在合成任务和各类数据集上也均降至 1.7% 以下。
arXiv stat.MLAI 评分3535 基于非线性薛定谔桥与分支扩散的生成建模
研究人员提出基于正反向偏微分方程的新型生成建模框架 SBNL，将经典薛定谔桥扩展至非线性系统。该方法结合分支扩散与半线性 PDE 的概率表示设计求解算法，具备高度易并行特性并可扩展至高维空间。团队在 MNIST 和 FFHQ 人脸图像合成等任务上验证了有效性，该框架同时统一了扩散模型与基于分数的生成模型。
arXiv stat.MLAI 评分3535 用于低 NFE 生成流的密度级反向误差分析
研究者提出了用于低 NFE 生成流 ODE 采样的密度级反向误差框架，可识别求解器修正方程缺陷中改变边际分布的分量。该方法能导出感知求解器阶数的算力分配规则，并通过规范自由度选取数值表现更优的速度场表示。在预训练 CIFAR-10 EDM 概率流 ODE 实验中，密度感知分配持续改善了低 NFE 区间的固定步长 Euler 采样表现。
arXiv stat.MLAI 评分3434 研究提出面向长程智能体的效应边际策略优化算法 EMPO
研究者针对 LLM 智能体在多轮强化学习中不同文本表述导致信用与策略更新错位的问题，提出了效应边际策略优化算法 EMPO。EMPO 通过构建效应级替代目标联合更新不同文本表述，在保留原始信用信号的同时兼容轨迹级与单步信用估计，且无需额外的 critic 或 rollout。在 ALFWorld、WebShop 和 Sokoban 上的实验表明，EMPO 在任务表现和学习效率上均超越了基线方法。
arXiv stat.MLAI 评分3535 掼蛋自我博弈中的“预测-优化”鸿沟
掼蛋自我博弈研究揭示了强化学习中的“预测-优化鸿沟”，证实具备预测效用的比赛进展信号无法提供可靠的优化方向。研究在 DanZero 风格的蒙特卡洛自我博弈中引入冻结胜率预测器变化量 $\Delta\Phi$ 作为监督干预；尽管单个检查点大幅超越基准，但在方法层面预注册的 5 个复现种子无一为正，汇总的 10 种子区间包含 0。
arXiv stat.MLAI 评分2727 噪声观测下的级联老虎机：算法与遗憾界
研究人员提出了一种新型随机级联老虎机设置，在从 $L$ 个臂中探索 $K$ 个臂的有序候选列表时引入位置相关成本，且仅能获取关于各臂真实输出的噪声反馈。
arXiv stat.MLAI 评分3333 GaP-MoE：基于正交梯度累积与投影实现 MoE 专家显式专业化
研究者提出 GaP-MoE 方法，通过直接操作专家输出梯度而非修改损失函数，来解决稀疏混合专家（SMoE）模型中的表征崩塌问题。该方法在训练时随机选出一个 Leader 专家，并将其余 Follower 专家的梯度投影至与其正交的子空间，以此消除梯度方向重叠。
arXiv stat.MLAI 评分3636 ExpEvolve：面向开放式科学发现的经验结构化与复用框架
研究者提出进化编码框架 ExpEvolve，通过从程序中提取解释评分差异的高层“想法因子”，将概念层级的控制引入演化过程，以指导经验利用并在陷入瓶颈时引导探索。在 11 项开放式数学任务中，该方法显著提升了最终性能，并将样本效率最高提升至 5.0x。相关收益还成功迁移至另外 4 个 LLM 以及 MLS-Bench 的 6 项机器学习任务上。
arXiv stat.MLAI 评分3636 近似 Solomonoff 归纳：论学习通用预测器的鲁棒性
关于近似 Solomonoff 归纳法的最新研究给出了通用预测器误差的最坏情况紧确界。在先验概率为 $w_\mu$ 的环境中，近似预测器的超额误差紧确界为 $\Theta(\eta/w_\mu)$，表明在小先验概率下性能会显著下降，但按先验加权的平均超额误差仅为 $O(\eta)$。论文还建立了分布偏移定理，并将鲁棒性分析拓展至与神经网络和 Transformer 相关的有限采样设置。
arXiv stat.MLAI 评分3333 曲率缩放锐度感知最小化（CS-SAM）：突破传统平滑性限制的收敛性研究
研究者提出了曲率缩放锐度感知最小化（CS-SAM），通过曲率上限同时缩放扰动和下降步长，解决了传统 SAM 及 USAM 在广义平滑条件下梯度失真可能无界并导致震荡或发散的问题。
arXiv stat.MLAI 评分2525 基于能量核的最大均值差异（MMD）的跳跃修正 Wasserstein 梯度流研究
研究者提出了一种针对能量核（$K(z)=-|z|^q$, $0<q<2$）最大均值差异（MMD）的跳跃修正 Wasserstein 梯度流，并在亚临界密度和有限矩假设下证明了全局适定性。引入的跳跃机制将质量转移至变分更小的区域，并与输运项耗散相同的 MMD 能量，确保具有有限二阶矩的数据无需额外假设即可收敛至目标分布。研究还构建了能量非增且无碰撞的粒子过程，并给出了定量平均场估计。