记忆长尾数据可通过组合提升模型泛化能力
记忆长尾数据与简单组合的协同作用能提升模型泛化能力。理论证明，在线性设定下，记忆结合组合能力可帮助模型在测试中对包含多个长尾特征组合的罕见样本做出正确预测，即便该特征组合从未在训练数据中出现。简单数据上的神经网络架构实验表明，该结论可拓展至线性设定之外，且模型的组合能力取决于其网络架构。
全部AI 动态
全部动态
今日 72 条arXiv stat.MLAI 评分3434 arXiv stat.MLAI 评分2929 熵正则化变分目标次优性的可计算度量：核梯度差异 KGD
研究者针对熵正则化变分目标引入了名为“梯度差异”的新型次优性度量，并提出可显式计算的核梯度差异（KGD）。在无法获取未归一化密度函数的情况下，KGD 支持开发并对比新型采样算法，包括 Stein 变分梯度下降的推广，并已应用于平均场神经网络和预测导向后验。理论上，该工作确立了 KGD 具备连续性及收敛控制等性质的充分条件。
arXiv stat.MLAI 评分3636 合成数据能否复现流行病学真实结果？基于对抗随机森林的复现研究
研究提出利用对抗随机森林（ARF）合成流行病学表格数据，并在涉及血压、心肌梗死与糖尿病等 6 项流行病学研究中成功复现了原始统计分析。实验表明，ARF 生成的数据在描述性和推断性分析中均与真实结果高度一致，即使样本量相对维度偏低也表现稳定。对比常用表格合成工具，ARF 在数据效用、隐私保护、泛化能力及计算效率上均展现出显著优势。
arXiv stat.MLAI 评分2626 用于非平稳时间序列条件独立性检验的动态广义协方差测度
研究人员提出了首个适用于单次实现的非平稳非线性过程的条件独立性检验框架。该检验基于动态广义协方差测度，针对期望条件协方差在部分时刻非零的备择假设具备检验功效。其关键技术包括时变非线性回归、误差过程乘积的局部长期协方差矩阵估计，以及分布一致的强高斯逼近。
arXiv stat.MLAI 评分3131 优化保形选择（OptCS）：数据驱动打分构建下的高效选择性推理
研究者提出了通用框架 OptCS，能在灵活的数据驱动打分构建后进行有效的多重检验，并在大幅复用数据的情况下控制有限样本的 FDR。该框架给出了候选打分函数筛选、无需样本分割的全标注数据训练，以及二者结合的三种具体控制程序。仿真实验以及药物发现与大语言模型实际应用证明了该方法的有效性。
arXiv stat.MLAI 评分2727 基于动态权重解决标签不平衡的100种语言多标签情感分析
研究人员提出一种支持100种语言的多标签跨语言情感分析框架，通过动态加权方法在训练中平衡各类别贡献，并引入适应多标签场景的 focal loss。该方法还包含可在现行时间复杂度内最大化 macro-f1 分数的类别阈值选择机制，单个模型在3种语言的9项指标中有7项达到SOTA性能。相关模型代码已公开发布。
arXiv stat.MLAI 评分3131 选择后泛化的局限性
一项新理论研究揭示了满足选择后泛化（又称事后泛化）算法的若干核心局限。研究证明，在回答自适应选择的统计查询时，任何满足事后泛化的算法误差都存在紧确下界，构成了该领域发展的关键障碍；同时还证明事后泛化在复合运算下并不封闭。
arXiv stat.MLAI 评分3434 保留还是适应？泛化持续学习
新研究质疑了持续学习过度注重缓解灾难性遗忘的传统设定，指出非平稳环境中保留旧知识会阻碍实时适应。研究提出迁移效率指标与关键任务持续时间阈值，量化了历史知识由预热优势转为优化负担的临界点。团队还提出了预测性持续学习（Predictive Continual Learning）框架与 Window 算法，在图像分类与强化学习基准上验证了其适应优势。
arXiv stat.MLAI 评分2727 Bandit 反馈下多变点识别的样本复杂度研究
针对在 Bandit 反馈下定位分段常数函数多个变点的任务，研究者提出了一种先检测变点候选区间再逐步精细化定位至目标精度 $\eta$ 的自适应算法。该研究建立了非渐近样本预算的理论上下界，打破了以往认为渐近复杂度仅由跳跃幅度决定的认知，理论与实证均表明在一般置信度 $1-\delta$ 与精度 $\eta$ 下，样本复杂度由跳跃幅度与变点相对位置共同决定。
arXiv stat.MLAI 评分3131 在高斯过程情境老虎机优化中利用凹性信息
研究人员提出一种利用凹性信息的高斯过程（GP）情境老虎机算法，将贝叶斯 GP 后验以凹性约束为条件来提升优化效率。该方法结合保持凹性的回归样条基构建出具备理论遗憾保证的 UCB 算法，性能不劣于且在凹性信息有效时严格优于标准 GP-UCB。基准测试与 Warfarin 给药应用实验表明，该算法大幅降低了累积遗憾。
arXiv stat.MLAI 评分3434 几何代数神经网络综述
一篇新发表的综述系统梳理了几何代数神经网络的构建模块、等变性、应用领域及软件支持。论文提供了代数选择指南与失效模式分析，指出其最强优势体现在具有显式几何对称性与异构几何实体的场景中。研究表明该架构并未全面超越调优后的非几何代数等变基准，并在数值稳定性、可扩展实现及复现评估等方面仍存在开放挑战。
arXiv stat.MLAI 评分3232 卷积神经网络中局部性与权重共享的作用
一项理论研究解构了卷积神经网络中局部性与权重共享的作用机制，发现在无空间相关输入下卷积架构的学习速度比局部连接精确快 $P$ 倍。局部性直接决定样本复杂度，核尺寸匹配时仅需 $\mathcal{O}_{D}(D)$ 样本，核过大则增至 $\mathcal{O}_{D}(D\log(D))$。空间相关性会削弱权重共享优势，在按训练时长调整学习率时，局部连接网络在早期占优，卷积网络则在后期胜出。
arXiv stat.MLAI 评分3939 通过 Dreaming Learning 缓解模型崩溃
研究提出利用高温采样训练的 Dreaming Learning 方法，以缓解生成模型在合成数据训练中出现的多样性丧失与模型崩溃。该方法通过展平预测分布使学习算子的特征值远离单位圆，从而持续维持对状态空间的探索能力。经 5000 代迭代测量，该缓解效果在 LSTM 语言模型及 124M 参数的 GPT-2 上均得到验证。
arXiv stat.MLAI 评分3636 掌握模型拟合：InterModel Vigorish 在可解释机器学习中的应用
研究人员将 InterModel Vigorish（IMV）引入机器学习领域，通过将拟合度差异表示为相比参考模型的预期博弈优势来解释概率拟合。该研究提出了用于特征归因的 SHAP-IMV、多分类评估的 Multi-IMV 和消融分析的 Ablate-IMV，并在表格、图像、传感器序列和图数据上通过 10 个随机种子完成评估。相关代码已通过开源库 imvpy 和配套 Notebook 发布。
arXiv stat.MLAI 评分3535 DiT 如何去噪？从注意力与 MLP 的“聚合器-预测器”视角解析
DiT 被研究提出可视为输入自适应的局部去噪器，其中 AdaLN 调节的注意力机制充当上下文聚合器，MLP 承担 patch 预测角色。理论证明高斯马尔可夫随机场先验下去噪误差随上下文半径呈指数衰减。在 CelebA64 实验中，使用共享内存 patch 预测器替代 DiT MLP 取得了具竞争力的生成性能，跨数据集移植亦验证了各组件分工。
arXiv stat.MLAI 评分2929 非对称无似然假设检验研究
研究者提出了非对称无似然假设检验（LFHT），在参考分布样本预算不相等的情况下给出了可行样本三元组的对数级刻画，证明不等预算可带来多项式级样本节省。例如在常数区分度下，基于 P 的 n 个样本和 Q 的 n^(3/4) 个样本，仅需 D 的 O~(n^(1/4)) 个样本即可完成检验，优于现有基准的 Ω(√n)。
arXiv stat.MLAI 评分3636 视觉-语言-动作（VLA）策略的事后认知不确定性估计
研究人员提出一种面向视觉-语言-动作（VLA）策略的事后核方差头方法，无需梯度更新即可直接从单模型嵌入中估计认知不确定性。在 LIBERO-10 基准上对 SmolVLA 的测试显示，该方法在主动学习演示获取与求助代理上表现媲美双模型集成，同时将不确定性评分时间最多缩短约 50 倍并大幅削减设置成本。
arXiv stat.MLAI 评分3535 用于可解释分子性质预测的片段级图编码方法
研究人员提出一种基于 BRICS 分解的分子片段级图编码方法，将具备合成意义的分子片段作为图节点，实现官能团级别的模型解释。在 4 种图神经网络架构和 4 项任务测试中，该方法在图规模缩小约 5 倍的情况下保持了与原子级相当的准确率。
arXiv stat.MLAI 评分3131 低损失场景下的差分隐私专家在线预测
新研究针对差分隐私约束下的专家在线预测，提出首个后悔界达 $\tilde{O}(\sqrt{L^\star})$ 的算法，显著优化了最佳专家累积损失 $L^\star$ 远小于时间步长 $T$ 时的表现。
arXiv stat.MLAI 评分3636 BRIDGE：用于拦截模型更新中虚假提升的准入检验机制及回顾性临床评估
研究人员提出了与模型无关的更新准入机制 BRIDGE，通过交叉拟合和 Bootstrap 下界约束来拦截验证集上表现更好但在新数据上失效的虚假提升。测试显示，该机制在 12 项回顾性临床任务中将虚假提升率从朴素规则的 20.0% 降至 0%，在合成任务和各类数据集上也均降至 1.7% 以下。
arXiv stat.MLAI 评分3535 基于非线性薛定谔桥与分支扩散的生成建模
研究人员提出基于正反向偏微分方程的新型生成建模框架 SBNL，将经典薛定谔桥扩展至非线性系统。该方法结合分支扩散与半线性 PDE 的概率表示设计求解算法，具备高度易并行特性并可扩展至高维空间。团队在 MNIST 和 FFHQ 人脸图像合成等任务上验证了有效性，该框架同时统一了扩散模型与基于分数的生成模型。
arXiv stat.MLAI 评分3535 用于低 NFE 生成流的密度级反向误差分析
研究者提出了用于低 NFE 生成流 ODE 采样的密度级反向误差框架，可识别求解器修正方程缺陷中改变边际分布的分量。该方法能导出感知求解器阶数的算力分配规则，并通过规范自由度选取数值表现更优的速度场表示。在预训练 CIFAR-10 EDM 概率流 ODE 实验中，密度感知分配持续改善了低 NFE 区间的固定步长 Euler 采样表现。
arXiv stat.MLAI 评分3434 研究提出面向长程智能体的效应边际策略优化算法 EMPO
研究者针对 LLM 智能体在多轮强化学习中不同文本表述导致信用与策略更新错位的问题，提出了效应边际策略优化算法 EMPO。EMPO 通过构建效应级替代目标联合更新不同文本表述，在保留原始信用信号的同时兼容轨迹级与单步信用估计，且无需额外的 critic 或 rollout。在 ALFWorld、WebShop 和 Sokoban 上的实验表明，EMPO 在任务表现和学习效率上均超越了基线方法。
arXiv stat.MLAI 评分3535 掼蛋自我博弈中的“预测-优化”鸿沟
掼蛋自我博弈研究揭示了强化学习中的“预测-优化鸿沟”，证实具备预测效用的比赛进展信号无法提供可靠的优化方向。研究在 DanZero 风格的蒙特卡洛自我博弈中引入冻结胜率预测器变化量 $\Delta\Phi$ 作为监督干预；尽管单个检查点大幅超越基准，但在方法层面预注册的 5 个复现种子无一为正，汇总的 10 种子区间包含 0。
arXiv stat.MLAI 评分2727 噪声观测下的级联老虎机：算法与遗憾界
研究人员提出了一种新型随机级联老虎机设置，在从 $L$ 个臂中探索 $K$ 个臂的有序候选列表时引入位置相关成本，且仅能获取关于各臂真实输出的噪声反馈。
arXiv stat.MLAI 评分3333 GaP-MoE：基于正交梯度累积与投影实现 MoE 专家显式专业化
研究者提出 GaP-MoE 方法，通过直接操作专家输出梯度而非修改损失函数，来解决稀疏混合专家（SMoE）模型中的表征崩塌问题。该方法在训练时随机选出一个 Leader 专家，并将其余 Follower 专家的梯度投影至与其正交的子空间，以此消除梯度方向重叠。
arXiv stat.MLAI 评分3636 ExpEvolve：面向开放式科学发现的经验结构化与复用框架
研究者提出进化编码框架 ExpEvolve，通过从程序中提取解释评分差异的高层“想法因子”，将概念层级的控制引入演化过程，以指导经验利用并在陷入瓶颈时引导探索。在 11 项开放式数学任务中，该方法显著提升了最终性能，并将样本效率最高提升至 5.0x。相关收益还成功迁移至另外 4 个 LLM 以及 MLS-Bench 的 6 项机器学习任务上。
arXiv stat.MLAI 评分3636 近似 Solomonoff 归纳：论学习通用预测器的鲁棒性
关于近似 Solomonoff 归纳法的最新研究给出了通用预测器误差的最坏情况紧确界。在先验概率为 $w_\mu$ 的环境中，近似预测器的超额误差紧确界为 $\Theta(\eta/w_\mu)$，表明在小先验概率下性能会显著下降，但按先验加权的平均超额误差仅为 $O(\eta)$。论文还建立了分布偏移定理，并将鲁棒性分析拓展至与神经网络和 Transformer 相关的有限采样设置。
arXiv stat.MLAI 评分3333 曲率缩放锐度感知最小化（CS-SAM）：突破传统平滑性限制的收敛性研究
研究者提出了曲率缩放锐度感知最小化（CS-SAM），通过曲率上限同时缩放扰动和下降步长，解决了传统 SAM 及 USAM 在广义平滑条件下梯度失真可能无界并导致震荡或发散的问题。
arXiv stat.MLAI 评分2525 基于能量核的最大均值差异（MMD）的跳跃修正 Wasserstein 梯度流研究
研究者提出了一种针对能量核（$K(z)=-|z|^q$, $0<q<2$）最大均值差异（MMD）的跳跃修正 Wasserstein 梯度流，并在亚临界密度和有限矩假设下证明了全局适定性。引入的跳跃机制将质量转移至变分更小的区域，并与输运项耗散相同的 MMD 能量，确保具有有限二阶矩的数据无需额外假设即可收敛至目标分布。研究还构建了能量非增且无碰撞的粒子过程，并给出了定量平均场估计。
arXiv stat.MLAI 评分2525 从公共信息到典型相关分析：连接信息论、信号处理与机器学习
一篇发表于 Entropy 的 100 页长篇教程系统梳理了无监督提取多观测公共分量的理论与方法，打通了信息论、信号处理与机器学习三个领域的长期割裂。内容涵盖 Gács-Körner 与 Wyner 的公共信息理论、Hotelling 的经典 CCA 及其多视角扩展，以及基于子空间方法的盲多用户接收机设计。
arXiv stat.MLAI 评分3737 审视推理时模型偏移下的语言模型符合预测
NeurIPS 2026 入选研究指出，量化模式与推理温度等配置变化会引发“推理时模型偏移”，破坏语言模型符合预测（CP）的可交换性，导致传统评估大幅高估部署时的覆盖率。该研究在 8 个语言模型、4 个有限标签基准和 12 种推理配置下进行评测，证实该影响具有异质性，并呼吁将推理配置列为符合预测评估的一等实验维度。
arXiv stat.MLAI 评分2525 回溯直接效应、间接效应与总效应研究
研究者提出了一种基于回溯反事实的因果效应构建方法，用于替代依赖跨世界干预反事实的自然直接与间接效应。该方法无需直接干预处理变量或中介变量，而是利用回溯条件分布构建满足特定处理-中介约束的替代外生状态。由此得出了回溯直接效应、间接效应和总效应，并同样适配了群体干预效应。
arXiv stat.MLAI 评分3838 所有可学习的分布类实际上都支持差分隐私学习
新研究证明了所有在总变差距离下能以有限样本达到任意小目标误差的可学习分布类，在 $(\varepsilon, \delta)$-差分隐私约束下同样可以用有限样本实现任意小目标误差学习。该成果证实了 Ashtiani 猜想。此前 Bun 等人的研究在固定目标误差的定义下曾弱反驳该猜想，而本研究表明在标准可学习性定义下该猜想完全成立。
arXiv stat.MLAI 评分3636 面向大语言模型推理高效探索的重试感知策略优化 ReAPO
研究人员提出大语言模型推理优化算法 ReAPO，通过改进 GRPO 引入重试感知信用分配，在不奖励前序失败的前提下强化成功重试。在 0.6B 至 4B 的 Qwen3 与 OLMo-2 模型及 8 个数理基准测试中，ReAPO 首答表现全面超越 GRPO。在 Qwen3-0.6B 上，其达到峰值准确率生成的 token 较组大小或步数翻倍的 GRPO 分别减少 39% 与 31%。
arXiv stat.MLAI 评分3434 Interdomain Attention：超越 token 级别的键值记忆架构
研究者提出 Interdomain Attention（IA）混合架构，在同层内融合注意力与基于 SSM 的循环记忆，保持计算效率的同时近似点积注意力。在 125M-1.3B 文本预训练模型中，IA 在匹配记忆大小下优于 S4D 基线，并在困惑度和常识推理准确率上超越传统 Transformer。在基于 Caduceus 骨干的基因组数据测试中，IA 同样持平或超越原 SSM 架构。
arXiv stat.MLAI 评分2929 非平稳多臂老虎机中当前效应推断的代价
针对非平稳多臂老虎机中奖励最大化与当前效应推断的冲突，研究团队提出了 TRACE 算法并建立了匹配的极小极大动态遗憾界。在 Hölder 光滑奖励设定下，该算法在置信区间宽度不超过 $w$ 时清晰分离了奖励学习代价与刷新当前效应估计的必要成本。扩展引入的经验 Bernstein e-process 还支持根据实际预测误差自适应探索。
arXiv stat.MLAI 评分3232 双层线性网络中的静默对齐：高维视角
研究人员在高维极限下分析了双层线性网络的梯度流，推导出权重矩阵在任意时刻的渐近谱分布。在小初始化极限下，网络表现出「静默对齐」现象：奇异方向在常数阶时间尺度内完成对齐，而奇异值和经验损失仍维持初始值不变。随后在对数时间尺度上，奇异值逐渐脱离零并带动损失下降，呈现出鞍点到鞍点的连续谱学习动态。
arXiv stat.MLAI 评分3232 Wasserstein 空间中的主成分分析提升：Lifted PCA
研究人员提出 Lifted PCA，通过凸扩展泛函将欧氏主成分分析（PCA）在最优传输框架下扩展至 Wasserstein 空间。该方法基于 Stiefel 与 Grassmann 流形推导出对应广义代价 Wasserstein 重心的等价表述，并与多边缘最优传输建立了等价联系。此外，研究证明了经验估计量的统计一致性，设计了计算算法并通过分布数据集实验验证了其有效性。
arXiv stat.MLAI 评分2525 分位数分布式强化学习的近极小极大速率研究
该研究针对分位数分布式策略评估，基于生成模型从经验马尔可夫决策过程中构建了分位数不动点估计器，并建立了 Wasserstein 距离下的非渐近误差界。