跳到正文

#arXiv

今日 0 条
10月12日周一
  1. arXiv quant-ph35

    可训练量子原生语言模型:耗散记忆、容量限制与硬件验证

    研究提出以小型量子寄存器为隐藏状态的字节级自回归量子原生语言模型,通过可学习耗散门控实现了超越单 token 的有效记忆。在上下文长度 12 下,门控模型测试负对数似然比单 token 对照提升 0.20 +/- 0.03 nats/byte,并在 IBM Heron 硬件上完成验证。该模型表现仍显著逊于经典 n-gram 基线且可被经典模拟,未声称具备量子优势。

  2. arXiv stat.ML25

    不完全前瞻信息下多用途批处理过程的贝叶斯动态调度

    针对现实制造中前瞻信息不完全的动态扰动环境,研究提出了一种用于多用途批处理过程的贝叶斯动态调度方法。该方法通过从扰动分布中学习贝叶斯网络,在线执行时结合实时观测更新后验概率以指导重调度。在 4 个基准问题上的计算结果表明,该方法在长期成本和系统调度变动(system nervousness)指标上均在统计上显著优于周期性重调度策略。

  3. arXiv stat.ML31

    信息力学理论:通过测量不确定性实现泛化(学习即测量)

    研究人员提出了一个基于意外度(信息论不确定性)的无模型实例学习框架,无需显式分布建模即可直接从原始数据执行泛化推理。该方法支持训练数据的直接编辑与删除,可统一应用于生成式推理、因果发现、异常检测及时间序列预测等任务。实验显示其在异常检测和部分监督任务上达到了 SOTA 表现,为高可解释性 AI 提供了理论基础。

  4. arXiv stat.ML32

    用于异构模型输出集成的可优化模型平均法(OMA)

    研究者提出可优化模型平均法(OMA),通过在冻结所有模型参数的前提下最小化正则化预测熵,为各候选模型学习一个非负标量权重以平均预测概率。该黑盒集成方法针对异构基础模型难以进行参数空间合并的问题,通过正则化机制缓解过度自信错误,在特定配置下实现了更低的模型校准误差(ECE)。实验表明其在文本和图像分类任务中取得了优于传统模型输出平均的性能与校准权衡。

  5. arXiv stat.ML34

    解耦总方差与信噪比提升扩散模型性能

    研究提出总方差与信噪比解耦(TV/SNR)框架,通过对两者的独立控制显著提升扩散模型的生成效率。该方法发现采用恒定 TV 调度能持续改善方差指数爆炸问题,并将参数搜索空间缩减为两个独立可解释的参数。结合推广的最优传输流匹配 SNR 调度,该方案跨多种逆向求解器均表现出增益,适用于分子结构生成等复杂科学应用。

  6. arXiv stat.ML29

    再生核希尔伯特空间中的数据驱动随机最优控制

    研究人员提出了一种针对随机扩散非线性控制仿射系统的全数据驱动最优控制方法,适用于非线性动力学和阶段成本函数均未知的场景。该方案将状态概率密度嵌入再生核希尔伯特空间(RKHS),结合算子回归与凸算子理论的 Hamilton-Jacobi-Bellman 递归,计算规模随状态维度呈线性扩展。数值实验证明其能解决包括自主水下航行器深度调节在内的多种非线性控制任务。

  7. arXiv stat.ML26

    具逼近保证的线性化 Wasserstein 降维算法

    研究人员提出 LOT Wassmap 算法,用于在 Wasserstein 空间中高效发现低维流形结构。该算法结合 Sinkhorn 距离与线性化最优传输加速计算,完全避免了成对距离矩阵的求解,并为有限样本条件下的嵌入质量提供理论保证。实验表明,LOT Wassmap 能获得准确的低维嵌入,且计算成本较传统成对距离算法显著降低。

  8. arXiv stat.ML34

    基于粒子的广义随机优化方法研究

    研究者提出了一类基于扩散的广义随机粒子优化方法,用于解决损失函数梯度难以直接计算的问题,涵盖生成模型训练、微调和隐变量模型学习等场景。该方法引入平均场动力学及其相互作用粒子近似,在适定性与联合收缩性假设下证明了指数收敛性,并给出了连续时间粒子系统的非渐近误差界。基于该框架开发的高阶 Langevin 和动量优化器已在最大边际似然估计与基于能量的模型训练中完成评估。

  9. arXiv stat.ML42

    微调过程中虚假关联的无监督识别与消除研究

    研究者提出 GRASP 方法,可通过朴素 LoRA 微调权重无监督识别潜变量,并在微调中消除虚假关联且保留预训练内容。在不安全代码和不良医疗建议任务中,该方法完全消除了前者的突发未对齐现象,并将后者未对齐减少约 5x。在 Reddit 金融数据政治偏见实验中,该方法将政治倾向漂移减少超过一半,并提升了金融任务性能。

  10. arXiv stat.ML27

    奥卡姆剃刀的锋利程度取决于 ELBO:变分推断中的协方差假设如何影响模型选择

    研究表明基于 ELBO 的超参数学习会因高斯近似后验中的协方差矩阵结构而低估或高估信噪比(SNR)。假设对角或低秩加对角协方差矩阵会低估 SNR 并导致训练集欠拟合,而低秩协方差矩阵则会高估 SNR 并导致过拟合。研究提示贝叶斯学者在扩展至大模型时,需警惕为易处理性所作的协方差假设对模型选择的影响。

  11. arXiv stat.ML25

    局部差分隐私下的参数变点检测方法

    新研究针对局部差分隐私下的离线单变点定位问题,提出了基于聚合随机响应与二元机制的参数变点检测算法。该算法证明定位精度根本上受变点前后分布的 Chernoff 信息限制,分别在低隐私与高隐私机制下最大化输出分布的 Chernoff 信息。结合推导的有限样本极大极小下界,该研究量化了变点定位的隐私统计成本,并在合成数据上完成了验证。

  12. arXiv stat.ML30

    非平稳加权风险最小化的快速收敛率

    研究者分析了分布漂移下加权经验风险最小化的样本外预测误差,将超额风险分解为学习项与分布漂移误差项,并在混合条件下证明了学习误差的 oracle 不等式。针对平方损失设定,研究给出了结构突变与平滑漂移过程的显式漂移误差界,并扩展至线性模型、基函数逼近和神经网络的(自)回归问题。最优权重展现了学习与漂移之间的偏差-方差权衡,退化至无加权平稳设定时可恢复极小化极大最优收敛率。

  13. arXiv stat.ML28

    无穷小算子世界模型:离线强化学习的有限样本保证

    研究提出基于算子理论的世界模型,通过在再生核希尔伯特空间学习受控扩散过程的无穷小生成元,为离线强化学习提供有限样本保证。该方法结合 Hamilton-Jacobi-Bellman 方程,确立了生成元近似误差足够小时价值函数的全局收敛性。团队还推导出与系统平滑度及稳定性绑定的显式有限样本界,为连续时间最优控制应用于离线强化学习奠定基础。

  14. arXiv stat.ML15

    用于空间预测的代理图划分

    作者 Yuta Shikuri 等人共同撤回了关于空间预测代理图划分的论文,后续研究将调整作者署名安排重新开展。该论文原针对黑盒空间预测模型缺乏可解释性的问题,提出将空间分段构建建模为混合整数二次规划问题,并利用图划分结构特征设计了近似方案以提升大规模数据下的计算效率。

  15. arXiv stat.ML26

    贝叶斯最优实验设计中的微分熵近似

    研究者提出一种在贝叶斯最优实验设计中近似微分熵的高效计算方法。在加性高斯噪声模型下,该方法通过 Monte Carlo 或 quasi-Monte Carlo 代理近似证据密度,无需额外似然评估即可计算微分熵,将期望信息增益的嵌套积分折叠为单重积分。理论证明该策略仅依赖前向映射的温和光滑性,收敛率媲美或优于现有 SOTA 方法。

  16. arXiv stat.ML24

    马尔可夫链在核诱导几何下的收敛性研究

    新研究探讨了马尔可夫链在正定核关联的希尔伯特嵌入几何(MMD)下的收敛性,建立了经验占优测度向不变测度收敛的非渐近高概率界。该理论界证明谱隙决定主项中的有效样本量,而核收缩仅引入线性修正。基于该成果,研究进一步推导出从单条轨迹预测动力系统时非线性最小二乘估计器的快速学习率。

  17. arXiv stat.ML34

    SLICE:基于共形 E-Values 的序列无似然推断

    研究人员提出了名为 SLICE 的序列无似然推断方法,可为难以计算似然度的模型参数构建精确的任意时间有效(anytime-valid)置信序列。该方法通过将正预测分数共形化为条件 e-value 并构造检验鞅求逆,即便使用摊销神经比率估计器近似分数也能保证有效性。在合成基准、LLM API 的模型路由审计及微引力透镜数据上,所得置信序列在持续监测下仍能保持有效。

  18. arXiv stat.ML34

    一步到位校准:联合学习准确且校准的神经网络

    研究人员提出一种基于双层 Stackelberg 公式的端到端校准方法,可将标准校准器与神经网络骨干网络联合训练,无需独立校准集或专用校准损失。该方案仅使用交叉熵同时优化准确率与校准性能,仅引入校准器学习率这一个额外超参数。直接将最终分类层作为校准器即可实现无需额外参数的准确校准模型,性能超越 SOTA 校准器。

  19. arXiv stat.ML27

    基于核方法的实验研究外部有效性评估

    研究人员提出了一种基于最大均值差异(MMD)的形式化框架,用于评估实验研究在未见实验条件下的外部有效性。该方法利用研究规模与 MMD 分位数之间的渐近幂律关系,可通过小规模预实验预估具备外部有效性所需的研究规模,并已应用于含并列项的排序场景。相关代码已作为 Python 模块 genexpy 的一部分公开发布。

  20. arXiv stat.ML27

    超越差异度量:非平稳加权风险最小化中的预言机漂移

    研究者提出将非平稳加权风险最小化中的漂移误差直接与模型类中最优预测器的变动(预言机漂移)相关联,而非依赖传统的差异度量(discrepancy)。分析表明传统差异度量可能过于保守,其阶数可能高于超额风险贡献,并对不影响最优预测器的风险曲面变化产生响应。该研究精确刻画了线性回归中的这一差距,并进一步拓展到了非参数回归分析。

  21. arXiv stat.ML25

    时变分层基础设施下的电动汽车充电概率预测

    研究人员针对时变分层基础设施下的电动汽车充电需求提出了结合分层预测与缺失数据保形预测(conformal prediction)的概率预测方法。该研究基于苏格兰公共充电站的大规模数据集,涵盖从单充电桩到区域及国家的多层级聚合结构。所提出的保形流程能在层级结构的每个节点生成有效的预测区间,且 CP-MNR-Nested 算法成功应对了基础设施动态变化带来的数据挑战。

  22. arXiv stat.ML29

    高斯 BROJA 偏信息分解的闭式解推导

    研究人员推导出了多元高斯分布下 BROJA 偏信息分解(PID)优化问题的闭式解。该闭式表达式支持在通用多元高斯场景下直接计算,并在高维计算中实现了超过两个数量级的计算加速。相关实现代码已公开可用。

  23. arXiv stat.ML29

    时间序列因果发现的核心要点指南

    该教程对跨统计学、动力系统与机器学习等领域的时间序列因果发现研究进行了统一梳理,系统阐述了现代方法的核心原理、局限性与假设条件。内容还涵盖因果发现方法的评估、基准测试与微调,并探讨了其在农业、地球科学、医疗健康及人工智能系统等下游任务中的关键应用,同时提供了配套的代码与资源库。

  24. arXiv stat.ML28

    BLOKS:通过草图块预条件技术扩展核求解器规模

    研究人员提出基于共轭梯度的核岭回归(KRR)求解器 BLOKS,通过将块雅可比近似与草图技术结合来构建新型预条件子。该预条件子的显存开销与数据集大小及参数量均无关,支持模型扩展,并提供了高显存效率的 GPU 加速实现。在标准大规模基准测试集上,BLOKS 取得了与当前 SOTA 方法相当或更优的性能。

  25. arXiv stat.ML33

    基于引导扩散模型的空间预测

    研究提出利用引导扩散模型解决空间预测难题,在数据模型似然函数已知且可微时实现预测分布采样。该方法适用于高斯与非高斯过程模型,支持计数、区域聚合和右截断等多种数据类型,并在英国与爱尔兰的甲烷通量反演实验中完成验证。其在高维潜变量下具备良好扩展性,可有效应用于传统 MCMC 难以处理的复杂模型场景。

  26. arXiv stat.ML27

    带幂次切片 Wasserstein 泛函估计的极大极小率

    该研究确立了在投影 r 阶矩假设下估计带幂次切片 Wasserstein 泛函的双样本极大极小率。在样本规模 N=n∧m 条件下,当 p<r<2p 时收敛率为 N^{-(r-p)/r},r>2p 时为 N^{-1/2},两类非临界情形下插入估计量均达最优。在端点 r=p 时无法实现一致估计,而在临界阶 r=2p 时上下界仍留有对数差距。

  27. arXiv stat.ML38

    KPSA:用于摊销条件可解释性的核化参数敏感度图谱

    研究人员提出基于经验神经正切核分块分解的核化参数敏感度图谱(KPSA),通过轻量核函数预估未见输入的参数敏感度,以摊销重复的反向传播计算成本。在 Transformer 的 MLP 特征激活归因测试中,KPSA 将批量查询吞吐量从 551 提升至 2,041 images/s,并将峰值 GPU 显存从 4.55GB 降至 0.44GB。

  28. arXiv stat.ML33

    大语言模型行为表征与风险管理的分布框架

    新提出的分布分析框架通过蒙特卡洛模拟构建大语言模型的经验响应分布,覆盖任务设计到持续监控的全生命周期风险管理。该方法通过引入语义干预量化分布变化,已在借款人分类与音乐专辑推荐任务中评估鲁棒性和控制有效性。由于仅依赖观测响应,该框架可直接应用于通过商业 API 访问的黑盒模型。

  29. arXiv stat.ML33

    基于单步隐式采样的摊销推理

    研究人员提出单步隐式采样器 OSIS,旨在解决高维贝叶斯后验分布中可扩展的单步摊销推理难题。该方法利用短时 MCMC 动力学为隐式建模分布的演化定义局部目标,在渐近极限下使建模分布成为 MCMC 核的不动点以完成目标采样。与多步摊销采样器及非摊销 MCMC 基线相比,OSIS 在采样时间效率上显著提升且性能良好。

  30. arXiv stat.ML32

    基于 Transformer 的掩码扩散模型可证明学习潜结构分布

    最新研究建立了端到端统计保证,证明基于 Transformer 的掩码扩散模型(MDM)能有效学习具有潜结构的数据分布。在数据由隐马尔可夫树混合建模时,采用并行去掩码调度的 Transformer MDM 在 KL 散度下实现 $\varepsilon$-精确采样仅需 $\widetilde{O}(LK_{\mathrm{par}}/\varepsilon)$ 个训练样本。

  31. arXiv stat.ML26

    缺乏锚点的忠实度:关于可解释 AI 特征重要性忠实度指标结构性失准的立场论文

    一篇发表于 IJCAI-ECAI 2026 XAI 研讨会的立场论文指出,可解释 AI(XAI)特征重要性忠实度指标存在显著局限,难以严谨量化解释与模型实际运作之间的拟合程度。该研究指出了现有忠实度指标存在的 5 大主要缺陷,并提出了 4 条旨在提升其可靠性的研究方向,以解决此类量化不可行或计算成本高昂的问题。

  32. arXiv stat.ML52

    关于 AI 时间跨度的估计与有效性:对 METR 图表的统计学审视

    研究者针对 METR 提出的 AI 50% 时间跨度指标,利用样条函数与项目反应理论放宽了对数线性假设,在 228 个任务和 26 个 AI 上重新计算了时间跨度估计。拟合结果显示人类用时在 2 至 30 分钟区间内难度几乎平坦,表明跨度从 3 分钟跃升至 30 分钟远比从 30 分钟跃升至 5 小时容易,研究同时提供了更优的点估计与构念效度诊断图。

  33. arXiv stat.ML24

    异步 Q-Learning 的到达时间界

    研究人员证明了在单条有限马尔可夫决策过程轨迹下,采用常数步长的零初始化异步 Q-learning 最终迭代能以高概率达到至多 $\varepsilon$ 的范数误差,样本复杂度为 $\widetilde{O}(H^4/(\mu_{\min}\varepsilon^2)+\mathfrak h_\star)$ 步转移。

  34. arXiv stat.ML30

    全离散条件扩散模型的有限样本保证

    研究针对采用有限去噪步数训练的全离散条件扩散模型,建立了有限样本理论保证。该方法通过将 score 训练目标与采样网格对齐,联合分析了统计估计与数值离散误差。在平滑条件密度假设下,采样器的平均目标总变差(TV)误差达到 $\widetilde O_p(n^{-\beta/(d_x+d_y+2\beta)})$,在对数因子内匹配现有条件分布估计理论速率。

  35. arXiv stat.ML37

    受约束概率数值计算:线性不等式约束下的线性偏微分方程高斯过程求解器

    研究者提出一种在有限维线性不等式约束下求解线性偏微分方程的高斯过程框架,将物理信息后验作为虚拟点不等式更新的先验,使结合后的非高斯分布可通过截断高斯矩计算。在二维 Poisson 基准测试中,单调性约束使重建误差降低了 63%;在仅保留 20 个报价的标普 500 期权链上,无套利约束将外推误差降低 22%,并将日历套利发生率从 10% 降至 1%。

  36. arXiv stat.ML36

    从像素到隐私敏感特征:面向重构下界的信息论框架

    研究提出了一个用于推导 DP-SGD 重构攻击失真下界的信息论框架,可在模型训练前计算针对特定特征表示的重构误差。该框架利用率失真理论将条件互信息度量的泄漏量与源熵相结合,证明了任意重构攻击均存在不可避免的期望误差下界。该成果已在像素空间和 LPIPS 特征空间实现,给出了首个直接以 LPIPS 衡量的重构失真下界。

  37. arXiv stat.ML35

    先验数据拟合网络(PFN)摊销贝叶斯推理的效果如何?

    研究人员通过经验风险最小化视角,评估了先验数据拟合网络(PFN)对贝叶斯后验预测分布(PPD)的逼近质量。结果显示 PFN 总体上能很好地还原目标 PPD,但在预训练先验的罕见场景下仍存在摊销误差且扩大模型规模也难以消除,导致独立预训练的 PFN 间产生分歧。采用多种贝叶斯模型平均方法可有效减少该不确定性,并改善包括完整尺寸 TabICLv2 在内的模型预测表现。