从几何到泛化：为什么行归一化能击败 Adam 和 Muon
行归一化在高维多分类任务中可取得严格优于全批次 Adam 与精确 SVD Muon 的总体准确率。该优势源于行归一化的类别级欧氏几何在渐近意义下能保留总体决策边界方向，而 Adam 的坐标级几何与 Muon 的谱几何会引入不可消除的失真。合成数据及语言模型最后一层实验均支持了这一理论预测。
#论文/研究
#论文/研究
今日 0 条arXiv stat.MLAI 评分3434 arXiv stat.MLAI 评分2525 基于图拉普拉斯基准先验的正则化小区域估计
研究者提出了一种用于小区域估计（SAE）的贝叶斯框架，通过新型基准先验（Benchmarking priors）联合实现跨区域信息借用与基准对齐。该方法包含单视角与多视角拉普拉斯基准先验，利用外部协变量构建图拉普拉斯矩阵引入正则化，并设计了定制 MCMC 算法。在哥伦比亚 2025 年市级平均家庭规模（AHS）估算中，多视角模型有效提升了估计精度。
arXiv stat.MLAI 评分3737 当更低重构损失损害性能：低比特大语言模型量化的分布鲁棒优化
针对训练后量化中更低重构损失反而可能损害模型性能的问题，研究者提出事后优化框架 DRQ（Distributionally Robust Quantization）。
arXiv stat.MLAI 评分2626 决策充分的后验近似
新研究提出了使后验近似保留下游决策问题的理论框架，通过在贝叶斯动作纤维上收缩 KL 散度给出决策充分性的精确距离。在正则有限维问题中，广义特征问题 Gv = γ J_Iv 能按单位信息成本对局部决策方向排序并导出有效维度。该框架将决策覆盖与信息效率分离，为比较和设计受限后验近似族提供了决策相对性准则。
arXiv stat.MLAI 评分2929 小数据脑信号解码只需 SPD-MetaFormer
研究团队提出面向小数据脑信号解码的无注意力架构 SPD-MetaFormer，基于对数欧氏几何下的均匀加权 Fréchet 聚合构建。该研究发现现有对称正定（SPD）流形注意力模型的权重训练后接近均匀分布，直接改用均匀权重对性能几乎没有影响。在 3 个 EEG 基准上，SPD-MetaFormer 取得了相比欧氏与流形基线极具竞争力的表现。
arXiv stat.MLAI 评分2727 对抗训练神经网络显著图稀疏性的理论解释
新研究针对两层 ReLU 网络提出理论解释，揭示了对抗训练神经网络梯度显著图呈现稀疏性的成因。研究表明，在 $\ell_\infty$ 攻击对抗训练下梯度范数具有各向异性并偏向轴对齐与稀疏梯度，其极小值会收敛至具备极小梯度与 Barron 范数的 Bayes 分类器。团队通过评估模型的梯度 $\ell_1$ 范数和阈值化稀疏性，实验验证了这一结论。
arXiv stat.MLAI 评分3232 截断扩散采样器需保留多少方向？幂律谱下的匹配界
该研究针对幂律协方差谱数据，证明了截断扩散采样器所需保留方向数量的匹配界。研究表明截断误差取决于被省略方向的维纳增益总和，仅保留信号强于输出噪声的方向仍会因弱方向的聚合效应而残留显著误差。该理论上界可拓展至估计主成分及高斯混合模型，建议在实践中依据聚合谱尾误差预算来选择保留子空间并设定扩散噪声水平。
arXiv stat.MLAI 评分3535 D-SLR：互斥行稀疏加低秩矩阵分解
D-SLR 提出了一种互斥行稀疏加低秩矩阵分解方法，作为截断 SVD 的闭式替代方案，将行严格限定为完整存储或低秩近似，在同等或更少参数下表现不逊于 SVD。该算法无需迭代求解与正则化调优，计算总成本仅需 3 次 SVD，并提供免假设的事后误差下界保证。在 LLM 嵌入向量表、网络流量及高光谱图像等数据上的实验验证了其性能增益。
arXiv stat.MLAI 评分3434 面向抗旋转神经动力学的精确 SO(3) 等变各向同性核
研究者提出紧凑图模型 IKNO，通过结合旋转不变标量与随数据旋转的向量方向，在数值精度上实现三维 Navier-Stokes 动力学的精确 SO(3) 等变预测。该模型彻底消除了坐标依赖，在预测精度匹配通用旋转感知 Tensor Field Network 的同时参数量减少至其 1/5.6，且性能优于同等参数规模的图模拟器。
arXiv stat.MLAI 评分3737 自监督对比学习全局假负例动态发现方法 GloFND
GloFND 是一种面向自监督对比学习的优化方法，能在训练过程中动态学习每个锚点数据的阈值，实现在全数据集范围内全局识别假负例。该方法单次迭代计算成本与数据集大小无关，有效解决了语义相似负样本嵌入向量被错误推开的问题。实验在图像和图文数据上验证了其有效性，相关代码已开源，论文已被 ICML 2025 接收。
arXiv stat.MLAI 评分3434 基于 Stein 位移场的密度比估计
新研究提出通过作用于基础分布的位移场估计密度比，将对数比建模为基础分布的 Stein 算子作用于该场的负值，通过单个凸优化问题同时获取分布偏移的统计与动力学描述。迭代该过程衍生出两种推理算法：push-forward 无需重训即可校正预训练采样器，pull-back 则支持逐层拟合变换模型。该方法已在基于模拟的推理和非线性独立成分分析中得到验证。
arXiv stat.MLAI 评分3434 用于处理效应估计的预测驱动数据融合
研究者提出一种预测驱动的数据融合框架，无需对观察性研究（OBS）作特殊假设，即可在保持随机对照试验（RCT）无偏性的同时借助大规模 OBS 提升处理效应估计精度。基于该原则，研究构建了具备闭式权重与置信区间的 ATE 估计器 AIPW-Fusion，以及两个 CATE 学习器 DR-Fusion 与 R-Fusion，相关实验验证了其有效性。
arXiv stat.MLAI 评分2424 代数完全交集检验
针对高维独立同分布样本，新研究提出了一种显式且有效的学习流程，用于检验数据分布是否集中在具有指定维度、有界次数和有界条件数的实代数完全交集附近。该流程可证明该类流形的不存在性，或返回几何复杂度受控的候选回归流形，从而在该假设类下检验流形假设。算法基于正则多项式系统的定量几何估计，并给出了明确的样本复杂度与算术复杂度界。
arXiv stat.MLAI 评分3131 ISBO：基于 INLA-SPDE 方法与对数高斯 Cox 过程的可扩展时空贝叶斯优化
研究团队提出面向时空数据的可扩展贝叶斯优化框架 ISBO，使用对数高斯 Cox 过程建模并利用 INLA-SPDE 方法实现快速准确的后验推理。该方法结合带掩码的时变 Upper Confidence Bound 采集函数与惩罚复杂度先验，有效避免重复访问并稳定早期探索。实验表明，ISBO 能以极少评估次数精准定位潜强度峰值，且相比 RKHS 基线取得了显著加速。
arXiv stat.MLAI 评分2929 基于扩散积分得分的快速变点检测 DI-SCUSUM
研究人员提出免训练变点检测算法 DI-SCUSUM，通过向样本添加高斯噪声并精确计算 Hyvärinen 得分，无需训练网络即可完成序列检测。在各向异性高斯模拟中，DI-SCUSUM 性能接近似然比 CUSUM，相比基于分数的 SCUSUM 减少约 91% 的实测检测延迟。在 MNIST 与 Oxford-IIIT Pet 数据集上，该方法在同等虚警水平下也实现了更低的条件检测延迟。
arXiv stat.MLAI 评分3434 用于变分顺序蒙特卡洛的可微系统重采样
研究人员提出面向变分顺序蒙特卡洛的可微系统重采样（DSR），通过温度控制松弛实现完整梯度流，解决了粒子滤波重采样步骤离散的问题。DSR 保留了 CDF 有序带状结构且诱导偏差具备逐点指数收敛率，相比最优传输方法无需迭代求解器，显著降低了计算开销。在随机动力系统与真实手写数据实验中，DSR 取得了相当或更优的滤波及动力学学习表现。
arXiv stat.MLAI 评分3535 扩散模型消除朗之万动力学的条件数依赖：精确高斯分析
扩散模型在高斯设定下实现了 $O(\sqrt{d\lambda_{\max}}\log N/N)$ 的 2-Wasserstein 收敛界，消除了传统朗之万动力学对条件数 $\kappa$ 的依赖。相比之下，未调整与欠阻尼朗之万动力学均受额外 $\sqrt{\kappa}$ 因子制约。分析还表明梯度下降估计未加噪与加噪 score 的结果基本一致，证实加噪优势源自采样阶段而非学习阶段。
arXiv stat.MLAI 评分2727 面向离散数据的高效可泛化原型分析框架
针对二元、计数等离散数据，研究者提出了基于似然的原型分析（AA）框架，支持伯努利、泊松和多项式观测模型。该方案利用负对数似然的局部二次近似，结合序列最小优化（SMO）与有效集法实现约束更新，并通过限制有效集提升扩展性。研究还引入交叉验证预测似然准则确定原型数量，在单细胞 RNA 测序和微生物组等数据中验证了计算效率与可解释性。
arXiv stat.MLAI 评分3131 基于距离 Sketch 的高效二次熵计算方法
研究者提出了用于近似计算任意分布二次熵 $p^T d p$ 的可扩展方法，重点针对欧氏距离与球面测地线距离。该方法通过随机特征嵌入与投影显著降低计算复杂度，并在距离矩阵固定、分布变化的大规模场景下利用分摊矩阵乘法与控制变量法实现低内存和低运行时间。团队在 Open Graph Benchmark 数据集上验证了该方案，仅基于引用和文本特征便成功识别出学科交叉度极窄与极广的论文、领域和机构。
arXiv stat.MLAI 评分3131 基于干预数据通过评分方法学习聚类 DAG
研究人员提出首个基于评分机制从干预数据中学习聚类 DAG 的算法 COARSE。该方法在线性高斯假设下利用干预确定聚类因果序，将边恢复转化为基于聚类级 BIC 评分的局部搜索，具备多项式时间复杂度与一致性。实验表明，COARSE 的边恢复表现达到 SOTA，边恢复阶段提速最高达两个数量级，并可适用于数百节点的稠密图。
arXiv stat.MLAI 评分3232 RobustLDS：对抗污染下的线性动力系统学习
研究针对单条长度为 T 且部分观测受对抗性离群值污染的轨迹，提出用于鲁棒学习线性动力系统的 RobustLDS 方法。该方法设计了基于最小截断二乘松弛与交替最小化算法的估计器，并引入利用离群值群体稀疏性（通过惩罚项或硬约束）的两种估计器。研究为群体稀疏惩罚估计器推导了非渐近误差界，从理论和实证上验证了其抗污染的鲁棒性。
arXiv stat.MLAI 评分2727 从缺失观测中学习结构化线性动力系统
针对各时间点仅有极少观测可用的场景，研究提出一种基于偏差校正目标函数在凸集上学习结构化线性动力系统的估计器。该方法确立了投影梯度下降算法的收敛性，并推导出与凸集局部复杂度、轨迹长度 $T$ 及子采样概率 $p$ 相关的统计误差非渐近界。结果表明，在 $p = o(1)$ 且 $T$ 远小于无约束场景要求时，仍能有效恢复转移矩阵。
arXiv stat.MLAI 评分3131 条件核 Stein 差异
研究人员提出基于协变量空间算子值核的条件核 Stein 差异框架，可在仅有联合分布样本和未归一化目标模型下量化条件拟合优度。该统计量当且仅当条件模型与真实条件分布在几乎所有协变量处一致时为零，突破了欧几里得空间限制，可应用于光滑流形与离散空间。检验水准、功效及运行时间实验验证了该方法在相应领域的有效性。
arXiv stat.MLAI 评分3232 高斯混合分布下的 Softmax 注意力机制：可线性则线性，需选择则选择
新研究分析了高斯混合分布下 Softmax 注意力机制在无限提示词极限下的数学机理，揭示其兼具线性表征与上下文选择能力。研究证明 Softmax 注意力机制可通过基于梯度的优化方法表示并学习到监督分类与去噪等统计任务的最优解。该机制既能像线性注意力一样有效处理线性任务，也能利用依赖 query 的上下文选择解决线性注意力无法胜任的非线性任务。
arXiv stat.MLAI 评分3737 $\sigma$Transfer：基于 $\mu\mathrm{P}$ 实现从小模型到大模型的不确定性迁移
研究提出 $\sigma\mathrm{Transfer}$ 方法，在最大更新参数化（$\mu\mathrm{P}$）下通过重缩放先验协方差，将小模型选定的先验精度零样本迁移至大模型，免去大模型昂贵的后验扫描。
arXiv stat.MLAI 评分3434 面向持续机器遗忘的极小化极大高斯机制
研究针对序列删除请求下的牛顿更新提出高斯机制，利用高斯差分隐私证明发布的模型序列在统计上难以与完全重新训练区分。在删除上限 M 下，基于计数的随机游走噪声渐近匹配单次发布的最坏情况方差，优于引入 M 阶因子的独立噪声。结合删除记录梯度与 Hessian 的集合界限可进一步降低方差，并在部分数据序列上带来 $(\log M)^2$ 阶改进。
arXiv stat.MLAI 评分3131 条件独立性检验中的 Embedding 偏差
研究表明在文本或图像条件独立性检验中以 Embedding 替代原始输入会引入偏误，严重时会导致原假设下的拒绝概率趋近于 1。该偏误被证明等于遗漏信息绝对相关性与两个偏 $R^2$ 几何均值的乘积，研究据此提出了带容差参数的鲁棒检验方法。在语言模型生成的文本实验中，即便采用生成器自身状态作为 Embedding 依然会导致检验偏差。
arXiv stat.MLAI 评分2626 LAIR-Net：用于表格回归的渗漏对齐脉冲残差网络
针对深度随机化模型缺乏目标感知控制的问题，研究人员提出用于表格回归的 LAIR-Net，通过渗漏残差转换将浅层可学习锚点融入隐藏状态。该架构具备输入扰动敏感度的深度一致界，仿真实验表明增益源于锚点机制且在具备非线性结构的数据上更明显。在 23 个基准数据集上，LAIR-Net 在 8 种随机化网络与 12 种传统模型中取得最佳平均排名。
arXiv stat.MLAI 评分2828 PSI-SINDy：非线性动力学稀疏识别的选择后推断
PSI-SINDy 是一种面向非线性动力学稀疏识别（SINDy）的选择后推断统计框架，可通过假设检验与置信区间量化所选动力学项的可靠性。该方法利用数据细化技术将单条观测轨迹分解为 4 个相互独立的视图，分别承担选择与推断功能。这在消除复用噪声轨迹所致选择偏差的同时，还能兼顾测量误差与共享噪声的影响。
arXiv stat.MLAI 评分3131 面向高斯过程流的特征空间自适应方法
针对 FlowGP 扩散计算昂贵且需手动指定核超参数的缺陷，研究人员提出一种特征空间自适应方法。该方法通过引入核近似以扩展至高分辨率领域，并测量引导扩散所需的功来获取边缘似然，首次在 FlowGP 中实现了核超参数优化。该方案已在概率降尺度、不规则域 PDE 解推理及非高斯卫星海平面异常场恢复任务中得到验证。
arXiv stat.MLAI 评分3535 超越分布保真度：面向合成表格数据的因果惩罚扩散模型
针对统计相似性无法保证因果效应的问题，研究提出面向合成表格数据的因果保真度感知训练框架，在生成目标中引入因果差异惩罚项以直接优化因果保真度。该框架具体基于 TabDDPM 并采用 on-policy 评分函数估计器进行优化。在多种处理效应模拟及两个基准数据集上的实验表明，该方法在保持竞争性统计保真度的同时有效提升了因果保真度。
arXiv stat.MLAI 评分2727 加速非光滑与重尾分布采样
针对非光滑且重尾的目标分布，研究提出不可逆锚定朗之万动力学（NALD）与不可逆反射锚定朗之万动力学（NRALD）以实现加速采样。该方法通过引入由无散度反对称矩阵场与流势生成的环流漂移项打破可逆性，且无需目标密度的导数信息。理论分析与实验验证表明，NALD 与 NRALD 相比可逆基准收敛更快，并实现了渐近方差缩减。
arXiv stat.MLAI 评分2626 Kernel Bandits 通用 $\widetilde{\Omega}(\sqrt{T \gamma_T})$ 遗憾下界
研究针对紧致域上的非常数连续核函数，建立了 Kernel Bandits 通用的 $\Omega(\sqrt{T\gamma_T/\log T})$ minimax 遗憾下界，在广义层面证明了现有上界在对数因子范围内的近最优性。
arXiv stat.MLAI 评分2929 具方差缩减特性的变换采样器
研究人员提出一种基于学习变量代换的 MCMC 变换采样器，利用规范化流等双射将复杂目标分布映射到潜空间，从而为求解泊松方程提供显式控制变量以实现方差缩减。该框架证明了马尔可夫核及其泊松解在双射下的变换性质，在温和尾部条件下可保证估计量的一致性，并同样适用于流模型的重要性采样（IS）。
arXiv stat.MLAI 评分3434 部分验证下的共形预测方法
研究提出一种共形预测（Conformal Prediction）的部分验证方法，可输出与完全验证完全相同的预测集。该方法通过校准凭证协调跨校准样本验证，在高覆盖率下其验证成本低于最小凭证成本的两倍。在检索、数学解题及配置评估实验中，该方法相比逐一验证校准样本降低了 15-82% 的验证成本。
arXiv stat.MLAI 评分3030 通过诊断传输校准分布鲁棒优化的模糊集
研究者提出诊断传输分布鲁棒优化（DT-DRO），利用校准数据调整模糊集几何，以解决传统 DRO 决策过度保守的问题。DT-DRO 通过条件概率积分变换联合调整模糊集中心与基础成本，具备计算可行的对偶重构形式，并消除了模型误设导致的鲁棒性下界。合成实验与停电应用验证了其在结构与尾部误设下对决策质量的提升。
arXiv stat.MLAI 评分3333 线性注意力能在上下文学习中从非线性教师学到什么？
理论研究表明，线性注意力在上下文学习中存在“非线性-噪声等价性”，仅能提取非线性目标的线性 Hermite 分量，其余非线性结构则作为有效噪声计入泛化误差。该等价性使线性理论能够迁移至非线性任务，并解释了有限预训练数据及任务多样性增加时从记忆到泛化的转变，为分析非线性上下文学习提供了易处理的理论起点。
arXiv stat.MLAI 评分2525 从对数几率到 Shapley 值：加权朴素贝叶斯分类器的解释几何学
新研究针对加权朴素贝叶斯分类器构建解释空间，提出了基于对数几率（log-odds）的判别式重构方法。该表征所诱导的距离与解析 Shapley 值向量间的 $\ell_1$ 距离完全一致，为模型的几何结构提供了形式化解释。此外，研究还通过 $k$ 近邻分类器实证对比了基于这些表征派生的多种监督距离。
arXiv stat.MLAI 评分2121 JevForest：面向预算受限特征获取的路径投票机制
JevForest 提出了一种用于预算受限特征获取的路径投票策略，通过自举树聚合特征提案并结合掩码分类器进行预测。在 AG News 测试中，四问题森林获取达到 0.729 准确率，优于静态增益排序的 0.667，但在 TREC 上表现出现反转。实验表明路径投票并未展现出通用优势，其实际价值取决于具体任务、预测器及实际查询成本。
arXiv stat.MLAI 评分3030 VC 学习的最优信息复杂度
一项针对条件互信息（CMI）框架的研究证实，通过依赖算法的信息论分析可恢复 VC 类的最优 PAC 保证。研究在可实现情形下构造出一种评估条件互信息（eCMI）阶数为 O(d) 的学习算法，其中 d 为概念类的 VC 维。该算法采用随机化 Majority-of-5 基学习器架构，具备最优的期望泛化保证。