Q-MMR：基于递归重加权与矩匹配的离线策略评估
研究提出面向有限时域 MDP 离线策略评估的新理论框架 Q-MMR，通过值函数判别器类的矩匹配目标自顶向下学习数据标量权重，以重加权奖励逼近目标策略的期望回报。该框架仅需 $Q^\pi$ 的可实现性假设，即可为通用函数逼近建立误差不依赖函数类复杂度的无维度有限样本保证。论文还建立了其与重要性采样及线性 FQE 的理论联系，并深化了对离线强化学习中 coverage 概念的分析。
#arXiv
#arXiv
今日 60 条arXiv stat.MLAI 评分3333 arXiv stat.MLAI 评分2424 基于框架理论推导 Oja 子空间规则的三因子学习规则
研究表明，在高斯输入下等价于 Oja 子空间规则的三因子学习规则 EGHR-PCA，可通过框架理论从 Oja 子空间规则中系统性推导得出。当该学习规则在对称矩阵空间的自然框架上展开时，EGHR-PCA 的全局第三因子恰好作为框架系数出现。这为从数学规范形式推导具备生物学合理性的学习规则提供了非启发式的理论方法。
arXiv stat.MLAI 评分3535 Kolmogorov-Arnold 网络（KAN）的软符号化研究
研究团队提出软符号化 Kolmogorov-Arnold 网络（S2KAN），通过在训练中引入符号基元字典与可微分门控，解决 KAN 缺乏符号保真度的问题。模型采用基于最小描述长度的目标进行端到端优化，并提出了衡量符号保真度的量化指标。在真实预测任务与合成基准中，S2KAN 显著提升了符号保真度并缩减了模型体积，同时保持了竞争力的预测精度。
arXiv stat.MLAI 评分2828 面向不确定性感知代理建模的保形多项式混沌展开
研究提出一种将 jackknife 保形预测与多项式混沌展开结合的方法，为代理模型生成量化预测不确定性的预测区间。该方法利用回归线性特性通过解析闭式表达式计算留一残差，无需预留校准集或重复重训，即可使用全部数据训练。在 4 个基准模型与 2 个电气工程设计用例中，该方法在小数据集训练的低精度模型上也能达到目标覆盖率。
arXiv stat.MLAI 评分2727 从对决多臂老虎机到情节式 MDP：对抗偏好反馈下的学习
该研究提出了基于状态偏好的情节式 MDP 框架，证明在对抗偏好与已知转移下，其极小极大遗憾界为 $\tilde{\Theta}(\min\{HT,(H^3SK)^{1/3}T^{2/3}\})$。这一界限由占用度量在线线性优化算法达成，且状态转移机制使 $T^{2/3}$ 遗憾项增加了 $H^{1/3}$ 因子的代价。论文还提出了具有闭式更新的策略优化算法，并将两者均扩展至未知转移场景。
arXiv stat.MLAI 评分3030 用于自验证集成模型（SVEM）的全模型随机置换检验启发式方法
研究提出一种基于随机置换的启发式全模型检验方法，用于检验自验证集成模型（SVEM）拟合优度相对于常数响应零假设的显著性。该方法利用因子空间标准化预测构建参考矩阵，并通过降秩奇异值分解计算马氏距离与刀切法距离以生成联合图形汇总。仿真分析表明，即使基础 SVEM 模型的参数量超过观测样本量，该检验仍能维持名义 I 类错误率。
arXiv stat.MLAI 评分2828 协变量偏移下的潜空间重要性加权
新研究提出一种针对协变量偏移的迁移学习算法，通过在低维潜空间而非高维原始空间中估计特征密度比，实现样本重加权与表征学习的结合。该方法在理论上建立了目标域过量风险率等有限样本界限，并给出了维度与方差对比分析。模拟与真实数据集实验验证了潜空间加权的性能收益，同时也揭示了其对初始化和域选择的敏感性。
arXiv stat.MLAI 评分3535 大批量训练中的动量：Polyak 扩大临界批量，Nesterov 提升数据效率
研究表明，大批量训练中 Polyak 动量能扩大临界批量以支持更高并行度且不牺牲数据效率，而 Nesterov 动量通过前瞻机制抑制噪声积累，在大批量机制下实现更高的数据效率。该研究在单遍训练与幂律核回归设定下推导了临界学习率与全风险动态标度律，并给出了揭示动量角色变化的三区域批量相图。
arXiv stat.MLAI 评分2727 利用异方差神经网络学习双向因果相互作用
研究者提出异方差神经网络联立方程估计器 SEM-DNN，无需外部工具变量即可从观测数据中学习双向结构性因果相互作用。该方法利用条件协方差对角化，通过包含联立系统雅可比行列式的对角高斯拟似然，联合拟合非线性均值与特征依赖方差。蒙特卡洛实验表明，在高维干扰函数与非高斯冲击下，SEM-DNN 相比参数化和核方法能更可靠地恢复结构效应。
arXiv stat.MLAI 评分3434 基于随机李雅普诺夫稳定性的大步长 SGD 交叉熵损失收敛性研究
该研究通过随机李雅普诺夫稳定性，为大步长 SGD 在多分类交叉熵损失下的线性分类器和双层神经网络提供了收敛保证。分析显示 SGD 随机性会使训练在曲率振荡的稳定边缘与受控下降状态间交替，但能确保迭代在固定步数内重归稳定。这证明了即便使用大学习率也能在最优迭代（best-iterate）意义下收敛，实验同时验证了大步长 SGD 的优势。
arXiv stat.MLAI 评分3232 实例相关随机 Lipschitz bandit
研究提出一种实例相关的 Lipschitz bandit 算法与分析，通过水平集次优差距积分表征遗憾，使遗憾界能自适应水平集的局部增长。当最大值点集维度 $d^\star>0$ 时，其自适应速率达到 $\tilde{\mathcal{O}}(T^{\frac{d_z+1}{\max(d_z,d^\star)+2}})$，严格优于传统 zooming 界。
arXiv stat.MLAI 评分4444 面向可泛化推荐的因果表征学习
研究者提出一种基于因果表征学习（CRL）的推荐系统优化方法，通过信息论解耦准则与变分下界排除混淆变量干扰，以解决离线训练与线上服务间的分布偏移问题。该方法仅需现有日志且不增加推理成本，在 Spotify 数百万用户的生产歌单排序 A/B 测试中显著提升了听众参与度。在 KuaiRand 等数据集上的实验亦证实了其分布外泛化增益。
arXiv stat.MLAI 评分4545 高效基准评测本质是特征选择与多元回归
研究提出将 LLM 高效基准评测重构为特征选择与多元回归问题，在预测阶段采用核岭回归即可显著改进现有评测方案。结合最小冗余最大相关（mRMR）算法筛选题目子集，不仅能在二元和连续指标基准上取得更小的 MAE 与 RMSE 预测误差及更高的排名相关性（Spearman $\rho$ 与 Kendall $\tau$），其采样速度也显著快于概率模型或聚类方法且稳定性更高。
arXiv stat.MLAI 评分2929 非平稳线性多臂老虎机最佳臂识别的复杂度研究
该研究针对固定预算非平稳线性多臂老虎机的最佳臂识别（BAI）问题，建立了适用于任意臂集合的理论下界。针对此前 G-optimal 设计忽视几何结构导致复杂度估计过于悲观的问题，研究提出了 Adjacent-optimal 设计及 Adjacent-BAI 算法。其误差概率在常数级别上匹配该下界，确立了该设定下依赖于臂集合的复杂度。
arXiv stat.MLAI 评分2525 随机反问题：稳定性、正则化与 Wasserstein 梯度流
该研究针对未知参数为随机变量的随机反问题，从直接反演、带正则化的变分形式以及梯度流优化三个维度展开理论分析。与确定性反问题所处的欧几里得或索伯列夫空间不同，该工作在概率空间下借助测度传输理论进行推导。研究表明，损失函数设计与优化过程中对度量的选取，会显著影响优化器的稳定性及相关性质。
arXiv stat.MLAI 评分2727 Mixed Engression：面向多元混合型响应的分布回归
研究提出 Mixed Engression 方法，用于估计包含连续与二元分量的多元混合响应条件分布。该方法利用结合全响应和二元向量的增强能量损失拟合连续生成器并阈值化输出，给出了稀疏 ReLU 估计器的非渐近误差界与多项式收敛速率。模拟实验表明，其在全响应能量距离和重尾设定下的精度均优于对比方法。
arXiv stat.MLAI 评分2929 带反向耦合的 Neural LoFi：跨层特征学习的谱理论
研究团队提出了带反向耦合的 Neural LoFi 理论框架，通过模拟反向传播中后层对前层表征的重塑作用，构建了跨层特征学习的谱理论。该算法利用上层敏感度为前序谱步骤生成样本相关的有效标签，可恢复纯前向统计无法捕获的底层特征方向。在二分类 CIFAR-10 实验中，全连接与卷积网络在同等宽度下均取得了优于前向 Neural LoFi 的准确率。
arXiv stat.MLAI 评分3030 Token 感知机的泛化特性：Embedding 与词表的作用
研究人员提出可解析求解的“token 感知机”极简模型，利用副本方法揭示了 embedding 空间几何与词表对 token 预测泛化误差的影响。在连续球面 embedding 设定下，模型在样本负载达到 $\alpha_{\rm rec}=d^2/(d-1)$ 时能精确恢复 teacher 模型。面对离散词表时，贝叶斯最优学习器会优先解析词表方差最大的几何方向。
arXiv stat.MLAI 评分2727 时变移动成本下的强自适应在线学习研究
针对环境与决策切换成本均随时间波动的在线凸优化（OCO）问题，一项研究提出一种可在任意子区间内实现强自适应遗憾界的新算法。
arXiv stat.MLAI 评分3333 情境决策：预测式还是生成式？
一项针对情境决策的研究系统对比了“先预测后优化”（PtO）与“先生成后优化”（GtO）两种范式，深入分析了学习目标对统计精度与优化可解性的影响。理论后悔界表明平滑度差异可抵消 GtO 的高维负担，而 PtO 则面临平滑度收益与保凸性之间的权衡；结合合成实验与真实案例，该研究为不同数据规模及问题结构下的范式选择提供了实用指导。
arXiv stat.MLAI 评分3030 Random Jump Forests：多状态模型非参数估计工具
研究提出 Random Jump Forests 作为多状态模型的非参数估计工具，可在无需马尔可夫假设的前提下估计条件累积转移率与状态占据概率。该方法利用单棵树划分所有转移的协变量空间，并在叶节点采用 Nelson-Aalen 估计量，理论上具备一致相合性保证。模拟与 4 个生物医学数据集验证了其预测精度，相关功能已在 R 包 JumpForests 中实现。
arXiv stat.MLAI 评分1818 长期 LoRaWAN 网络的数据质量审计与温湿度双变量分析
研究团队针对 Tour Perret 长期 LoRaWAN 网络数据集提出 C++17 处理流程，通过审计剔除缺失变量后，聚焦分析 205,005 帧温湿度数据。
arXiv stat.MLAI 评分2727 任意标签空间下的最优多分类在线后悔界
研究人员确定了任意标签空间下不可知多分类在线学习的最优后悔界，证明多分类 Littlestone 维度 $d<\infty$ 的假设类在 $T$ 轮下的后悔上界为 $O(\min\{T,\sqrt{dT}\})$。
arXiv stat.MLAI 评分2828 协方差感知集合得分滤波（CI-EnSF）：将局部协方差几何嵌入得分输运
研究提出协方差感知集合得分滤波（CI-EnSF），将局部预报误差协方差几何直接嵌入前向扩散与反向输运，解决了现有 EnSF 难以向未观测状态分量传递观测信息的问题。在 Lorenz-96 和 SQG 动力学实验中，面对强非线性观测与气候态初始化，CI-EnSF 相比 LETKF 等高斯集合基准展现出更低的分析误差和更强的循环鲁棒性。
arXiv stat.MLAI 评分3131 DBCM：用于时间序列预测测试时自适应的双分支校准模块
研究人员提出用于时间序列预测测试时自适应的双分支校准模块 DBCM，以应对非平稳性引起的测试时分布偏移。针对以往通道级适配器参数冗余的问题，DBCM 通过共享适配器跨通道共享自适应能力，并结合低秩通道级适配器、通道混合与非线性门控调制保留通道灵活性。实验表明，DBCM 在多种数据集、预测跨度和骨干模型上均优于以往方法。
arXiv stat.MLAI 评分3434 重新思考长尾数据下监督对比学习的表征几何
新研究针对长尾数据下的监督对比学习提出表征几何分析框架，指出代表性对比目标因依赖类别样本量，在最优状态下无法形成正单纯形几何。为此，作者提出结构平衡方法与完全平衡对比目标，在理论上证明其能在最优状态形成正单纯形几何。理论与实验结果表明，该方法构建了更平衡的表征空间，并提升了长尾识别与迁移学习任务的性能。
arXiv stat.MLAI 评分3535 流形 Flow Matching 的相容似然
研究者提出一种用于流形 Flow Matching 的相容似然目标，解决现有黎曼扩展在非欧流形上将样本推离数据分布的缺陷。该目标基于端点指数族构建且仅支持可行速度，在常曲率流形上通过重加权损失分别处理流速与方向误差。实验表明，该方法在高维积环面与人体姿态数据上优于既有工作，并在球面 4 个地理空间基准中的 2 个上显著改善 NLL。
arXiv stat.MLAI 评分3131 贝叶斯倾向评分预测推理：将临床试验结果推广至目标人群
研究提出贝叶斯倾向评分预测推理（PSPI）框架，结合贝叶斯加性回归树与抽样倾向评分的自然三次样条，用于将随机试验结论推广至协变量分布存在偏移的目标人群。仿真研究显示，基于样条的 PSPI 在显著协变量偏移下实现了更低的均方根误差与接近名义水平的覆盖率。在 All of Us 电子病历队列的应用中，PSPI 估计出的干预获益大于未经调整的 CODIACS Vanguard 试验原始估计值。
arXiv stat.MLAI 评分3838 学会被监控：CoT 可监控性的因果边界与干预感知后训练方法
针对大语言模型思维链（CoT）监控评估指标 $\mathsf{TPR_{mc}}$ 高估因果检出率的问题，新研究推导出互补下限以建立更严格的评估框架。研究团队进一步构建了对照-干预任务训练集，设计出基于离策略自蒸馏、强化学习和在策略自蒸馏的三种后训练方法。实验表明三种方法在多种配置下均普遍提升了模型的 CoT 可监控性，相关代码已开源。
arXiv stat.MLAI 评分2626 实现较弱忠实性：因果恢复、多义性与计算极限
针对多变量联合相关但单变量独立导致因果连接丢弃的问题，研究提出通过邻接保护与保留备选有向图解释实现较弱忠实性。在带噪 XOR 实验（N=10,000）中，重新激活与保护结合将父节点对恢复率从 0/20 提升至 20/20，弱信号下族保留率达 48/50。然而该方法会引入伪边且面临算力瓶颈，12 与 20 变量的 400 次搜索在截止预算内均未完成。
arXiv stat.MLAI 评分3535 低秩自适应（LoRA）的奇异几何学
一项最新研究基于奇异学习理论的实对数正则阈值（RLCT），分析了低秩自适应（LoRA）的学习复杂度与奇异几何特性。研究揭示 LoRA 在局部线性化下受前向-反向协方差控制，并提出了曲率校正的多温度 RLCT 估计器。在多层感知机与 Transformer 架构上的实验表明，该几何特性具有强烈的层依赖性。
arXiv stat.MLAI 评分3131 基于 Sticky 分段确定性马尔可夫过程的稀疏贝叶斯神经网络
新研究利用基于分段确定性马尔可夫过程（PDMP）的现代蒙特卡洛方法，实现了对贝叶斯神经网络（BNN）后验分布的渐近精确采样。通过引入 sticky 机制与 spike-and-slab 先验，采样器能在采样过程中直接将权重精确置零，统一处理剪枝与参数不确定性。实验显示，以此方式采样的稀疏 BNN 比稠密网络对输入噪声更具鲁棒性。
arXiv stat.MLAI 评分2727 任务转移下的得分保留持续 Lasso
研究者提出得分保留持续 Lasso（SP-CL），通过保留历史平方损失得分将稀疏估计与状态传递解耦，解决持续学习中的正则化偏差累积问题。在平方损失下，其累积估计量可精确恢复全历史 Lasso 极小值点，并在任务系数相同时继承全历史稀疏收敛速率。针对相关任务系数，该方法采用当前任务正则化修正达到离线源辅助速率，并通过仿真验证了理论分析。
arXiv stat.MLAI 评分2626 面向单位立方体的球面线性贝叶斯优化采集函数
研究人员针对单位立方体决策区域提出一种新型贝叶斯优化采集函数，有效解决了球面线性贝叶斯优化的采集子问题复杂度。该采集函数支持全局优化，运行时间显著少于传统多起点拟牛顿法，同时保持或提升了优化性能。其单次评估精度可媲美基于高斯过程的贝叶斯优化，在中低计算强度的黑盒任务上具备更优的单位耗时精度。
arXiv stat.MLAI 评分3434 Batched NN 4D-Var：面向综合预报系统的高性能混合模型框架
Batched NN 4D-Var 提出了一种面向欧洲中期天气预报中心（ECMWF）综合预报系统（IFS）的混合模型框架，用于在线学习依赖状态的模型误差修正。该框架受 mini-batch 随机优化启发，通过在多个同化窗口间平均参数增量，解决了顺序在线学习虽在训练期减少超 10% 误差但无法泛化的问题。实验表明，该批处理方法在样本外持续提升预报能力，并能加速收敛且保留真实预报变率。
arXiv stat.MLAI 评分2525 不可识别区域附近的精确全局极小极大风险
针对冗余参数在子模型上不可识别的高阶展开模型，该研究给出了最大临界路径极小极大风险等于全空间精确渐近极小极大风险的充分条件。所构建的估计量结合校准估计与经验恢复特征，在未知坐标下一致达到由有界正态决策问题表达的首项常数。该理论在含未知方差的高斯 Logistic 误差变量回归中求得五阶全局系数风险，并在复制网络模型中确定了六阶全局边对比风险。
arXiv stat.MLAI 评分2626 无限记忆链的经验集中不等式
该研究将经验集中不等式从平稳马尔可夫链推广至具有无限记忆的平稳链，解决了时间序列集中不等式因包含未知量而难以直接用作置信界的问题。在可求和 Wasserstein 收缩条件下，研究给出了有界差分不等式，并支持仅从单条轨迹估计依赖系数。配合固定乘法安全因子，该方法无需先验常数即可完全自适应，所得经验置信界渐近上与理论界同样紧致。
arXiv stat.MLAI 评分2828 异质客户端下的联邦非参数回归
Nadaraya-Watson 联邦非参数回归框架使异质客户端仅需传输局部核摘要，服务端无需集中原始数据即可构建协变量密度加权的联邦估计器。客户端通过结合局部与联邦预测器降低平方预测损失，该框架确立了点态推断并实现了跨客户端的同时推断。研究还在 Kullback-Leibler 与 L2 扰动模型下评估了鲁棒性与最不利回归方向。
arXiv stat.MLAI 评分3636 面向 Graphon 变分问题的隐式神经表征
研究人员提出基于隐式神经网络的探索框架，通过梯度下降求解图极限（Graphon）的变分优化问题。该方法在广义 Turán 问题中无需人工干预即复现了已知最优解，并发现了未曾报道的极值候选结构。在 Erdős-Rényi 随机图大偏差问题中，其在三角形图上界区间超越了 Lubetzky 和 Zhao 的已知最佳构造。
arXiv stat.MLAI 评分3232 用于离线最大熵强化学习的条件流模型
研究者提出一种面向离线最大熵强化学习的框架，利用概率流 ODE 条件扩散模型分别估计未知的奖励分布与转移核，进而通过深度神经网络拟合最优软动作价值函数 $Q^*$。