跳到正文

#arXiv

今日 0 条
10月28日周三
  1. arXiv stat.ML33

    时序差分学习自适应不完全覆盖:子图上的预言机不等式

    普通时序差分(TD)学习在表格型设定下无需预先选择子图或满足全局覆盖,即可自动融合 TD 的渐近效率与蒙特卡洛(MC)对局部访问的要求。论文提出了连接两者的子图 Bellman 方差,并证明全 TD 的均方误差被任意包含目标且充分覆盖的子图方差除以样本量所界定。有限样本极小极大下界与实验进一步表明,罕见状态被充分观测前无法达到渐近方差。

  2. arXiv stat.ML29

    统一精度矩阵与协方差矩阵的稀疏估计

    该研究通过对矩阵最后一列进行单一重参数化,将稀疏精度矩阵与稀疏协方差矩阵的惩罚极大似然估计统一到同一框架中。该重参数化将似然函数解耦为一个一维极小化问题及后续的惩罚多元回归,适用于非对角线元素可分且对角线呈线性的任意惩罚项。当惩罚项采用 $\ell_1$ 范数时,该方法直接统一了 graphical Lasso 与 covariance graphical Lasso 算法。

  3. arXiv stat.ML26

    核范数正则化的贝叶斯矩阵补全

    针对噪声精度未知的核范数正则贝叶斯矩阵补全模型,研究提出了首个具备明确非渐近保证的采样器。该方法将精度离散化至网格并通过热力学积分估计后验,能在矩阵维度和目标精度倒数的多项式步数内收敛至预设的全变差或 Wasserstein 距离。该成果确立了此类非对数凹模型的理论可行性,但其多项式复杂度暂不针对当前规模的实际应用。

  4. arXiv stat.ML33

    c-Rectified Flow 的计算与统计理论保证

    研究针对生成模型核心架构 rectified flow 展开理论分析,证明迭代 c-rectified flow 在适度假设下始终收敛至最优传输耦合,解决了普通方法失效的问题。团队进一步在二次与强凸位移成本下确立了单步收缩与指数收敛保证。结合新分数估计率,该框架在维度 $d \ge 3$ 时实现了最优传输的速率最优估计,在 $d=1,2$ 时达到近参数速率。

  5. arXiv stat.ML32

    基于半正定核密度估计的分布保真数据插补

    PSD-Impute 模型利用半正定(PSD)核密度估计将完全随机缺失(MCAR)下的插补重构为凸经验风险问题,可通过牛顿内点法求解闭式边缘分布。该模型支持从同一拟合密度中生成单重与多重插补,并提供自适应超参数选择的非凸扩展。其具备统计一致性并在规则概率分布下克服维度灾难,分布精度优于主流插补 baseline。

  6. arXiv stat.ML44

    上下文学习中思维链(CoT)的渐近理论

    该研究利用高维渐近随机矩阵理论,推导出上下文学习中思维链(CoT)泛化误差关于推理深度、预训练数据量与上下文长度的精确公式。分析揭示了指数改善、饱和及过度思考间的相变,表明更深推理需充足预训练和上下文支持,否则易导致误差放大或饱和。相关预测已在线性注意力和 softmax 注意力模型实验中得到验证。

  7. arXiv stat.ML29

    非参数条件矩双层优化的参数化速率

    针对条件矩函数双层优化中插件超梯度易继承非参数估计误差的问题,该研究提出了正交化超梯度估计器 OBiGrad。OBiGrad 将投影梯度下降的期望稳态误差从直接插件法的 $O(T^{-1/2}+n^{-1/2}+n^{-\nu/b})$ 优化至 $O(T^{-1/2}+n^{-1/2}+n^{-2\nu/b})$。

  8. arXiv stat.ML35

    多变量保形预测(MCP):利用多个校准变量优化预测集

    多变量保形预测(MCP)框架通过在单一优化问题中联合优化并校准多个预测集参数,消除了校准数据划分并保留有限样本覆盖保证。该框架基于情景理论,提出了泛化传统划分保形预测的 RemMCP,以及支持非凸问题的 RelMCP 两种变体。实验表明,两者均稳定达到目标覆盖率,校准方差更低,且在多数设定下生成的预测集尺寸更小或相当。

  9. arXiv stat.ML32

    面向信息缺失可解释分类的专家指导类别条件拟合优度评分

    研究人员提出一种融合专家先验知识的类别条件拟合优度评分框架,用于解决含信息缺失场景下的可解释分类问题。该框架利用专家指导模型量化观测与缺失数据特征,并结合透明辅助指标驱动简单判别分类器,生成易于审查的决策规则。该方法已应用于全面禁止核试验条约的地震监测场景,且在小样本仿真中性能优于标准机器学习分类器。

  10. arXiv stat.ML34

    OneFlowSBI:面向模拟推断的单模型多查询框架

    OneFlowSBI 提出了一种掩码流匹配框架,通过在参数与观测的联合分布上训练单一网络,仅切换三元掩码即可采样任意条件或边际分布。该方法将掩码作为直接输入,避免了 Transformer 架构注意力成本随变量数量二次增长的问题,无须重新训练即可处理缺失区域。实验显示,其在高维任务中采样速度显著快于 Transformer,并在多数 SBIBM 任务中达到或超过神经后验估计。

  11. arXiv stat.ML33

    潜在非线性去噪得分匹配(LNDSM)增强结构化分布学习

    研究人员提出潜在非线性去噪得分匹配(LNDSM),将结构感知的非线性潜在扩散模型与变分自编码器(VAE)框架相结合,以增强对结构化数据分布的学习。该方法在前向扩散中引入高斯混合模型等预设参考分布,通过 Euler-Maruyama 离散化近似交叉熵上界并去除高方差控制变量,实现编码器、解码器与潜在得分网络的稳定联合训练。

  12. arXiv stat.ML35

    Foreclassing:从预测到决策

    研究人员提出机器学习新框架 Foreclassing,将时间序列的类别标签定义为其未来观测值的函数。论文给出了误差界等理论分析,并提出联合执行预测与分类的神经网络模型族 ForeClassNet。在天气、能源和金融数据集上的实验表明,该方法能有效提升分类性能、概率预测质量及下游决策效果。

  13. arXiv stat.ML33

    预设参数卷积核的机制解析

    该研究深入分析了 ROCKET、MiniROCKET 等模型共用的正值比例(PPV)池化算子,确立了其平移不变性与随机特征几何集中规律。在 UCR 数据集上的实验表明,增加核数量带来的表征增益递减,且最佳测试表现出现在中等卷积核长度,证明非线性池化利于线性分离但表征过度丰富并不必然提升泛化能力。

  14. arXiv stat.ML27

    基于联合偏回归的稀疏偏相关非渐近估计

    研究者提出一种基于联合偏回归的方法,可同时估计高维稀疏偏相关矩阵与逆协方差矩阵,并具备非渐近收敛率保证。该方法采用两阶段估计框架,利用逆协方差与线性回归的内在联系,同时强制保证估计结果的半正定性。此外,研究推导了用于数值计算的高效近端分裂算法并提供快速实现,在合成与真实数据上验证了有效性。

  15. arXiv stat.ML34

    智能体分布回归:通过智能体编写程序进行条件密度估计

    研究者提出智能体分布回归(ADR),利用语言模型智能体编写简短程序来实现条件密度估计,生成可独立检查与评估的显式公式。理论上推导了有限样本误差界与模型选择的预言机不等式,并证明了拟正常数的渐近正态性。在模拟研究、12 个真实数据集及新数据集测试中,搭配 Claude Opus 5.5 的 ADR 在所有对比方法中取得了最佳平均表现。

  16. arXiv stat.ML31

    输入跳跃连接可在不提升生成器性能的情况下重参数化 VAE

    输入跳跃连接(input skip)能在不改变高斯 VAE 样本生成分布的前提下降低重建均方误差(MSE),本质仅对模型进行了重参数化。通过按比例缩放解码器输出和噪声方差,模型可在生成评分不变时将重建 MSE 缩减至 $(1-\alpha)^2$ 倍。实验表明降低重建误差甚至会恶化能量评分(energy score),证明评估生成质量不能仅依赖重建误差。

  17. arXiv stat.ML34

    LinMix:将数据混合建模为线性领域归因

    研究人员提出数据混合方法 LinMix,通过在截断单纯形顶点采样解耦领域效应,无需超参数即可通过线性归因直接确定最优预训练数据配比。在 1B OLMo2 与 4B Qwen3.5 实验中,LinMix 较 Dirichlet 采样基准在 MBPP 和 GSM8K 上分别取得 46% 与 14% 的相对增益,并在 288 个细粒度领域下将平均基准准确率提升 11%。

  18. arXiv stat.ML30

    面向预测模型的基于成本变量选择算法

    研究提出一种基于净获益的决策分析变量选择算法,并将其实现为 R 包 NBvarsel。该算法综合考虑误分类代价以及变量测量带来的资金支出、时间与患者负担等损害,仅在预测收益超过测量成本时纳入变量。案例研究表明,该方法在基本不影响模型区分度和校准度的前提下生成了精简模型,能够显著优化临床实用性。

  19. arXiv stat.ML26

    面向贝叶斯校准的 Rényi 正则化流变分推断

    针对归一化流变分推断在多模态贝叶斯校准中易丢失模态的问题,新研究提出引入 Rényi 散度正则化项,以促使近似后验覆盖先验支撑集。在模态充分分离的双参数实验中,该正则化将近似崩塌的比例从 50% 降低至 25%。该方法虽然改善了模态覆盖率,但改变了原始变分目标并引入了精度权衡,并非模态崩塌的通用解法。

  20. arXiv stat.ML34

    物理引导流匹配:用于全球总电子含量预测的生成式 AI 框架

    研究人员提出一种物理引导的流匹配(Flow Matching)生成式 AI 框架,用于提前一天的全球总电子含量(TEC)预测,将偏微分方程描述的电离层动力学融入生成过程。该模型基于 TIEGCM 生成的 1 年数据进行训练评估,平均 RMSE 相比 ConvLSTM 降低 39.2%,相比无物理引导的同框架降低 23.8%。实验表明显式物理引导在所有预报时效和纬度上均显著提升了时空预测精度。

  21. arXiv stat.ML53

    研究提出大语言模型中转 API 审计方法 DFA:低成本检测模型偷换与掺水

    研究人员提出分布指纹审计(DFA)统计方法,仅需文本响应即可在黑盒环境下低成本检验大语言模型中转 API 是否真实提供了用户请求的模型。该方法通过重复查询简单有限选择探针构建端点指纹,并利用柯西组合检验聚合证据输出统计 p 值;在涵盖 10 个模型家族共 16 款模型的测试中,仅需 5 个探针和 250 次中转请求即可实现高检出率。

  22. arXiv stat.ML32

    边缘端在线气体分类

    受昆虫嗅觉系统启发,研究人员提出一种基于稀疏高维二值表示的神经网络架构,用于边缘端气体在线分类。该架构仅依赖二值权重与 Hebbian 局部学习,在混合气体分类测试中性能匹敌优化后的非线性 SVM。在混合信号神经拟态芯片 TEXEL 上的实测显示,该片上分类器取得 74.6% 准确率,单次推理能耗仅 482 nJ,静态功耗为 27 μW。

  23. arXiv stat.ML36

    iFLEX:科学机器学习中时间插值的生成式细化学习

    研究人员提出科学机器学习插值模型 iFLEX,利用条件扩散模型学习加权数值插值与真实物理场的残差以重构中间场。该模型在 Navier-Stokes 湍流、上海雷达降水及海表温度数据上表现优于光流和视频插值扩散等基线。在雷诺数 36,000 的湍流测试中,其相对 Frobenius 范数误差从直接生成的约 13.7 降至 10.5,代码已开源。

  24. arXiv stat.ML30

    保守型对决老虎机:基线约束下的偏好学习

    针对成对比较偏好学习,研究提出保守型上下文对决老虎机,要求展示的较优选项累积得分不低于受信任基线的 $(1-\alpha)$ 比例。针对直接套用传统 CLUCB 算法会导致线性遗憾的问题,论文面向线性和通用效用分别开发了具备安全保证与次线性遗憾的 MaxInP-BC 与 BTIGW-BC 算法。实验表明两者均能以适度遗憾代价严格满足基线约束。

  25. arXiv stat.ML24

    基于 PDE 的主动简单假设检验最优指数界

    研究提出了主动简单假设检验(ASHT)中最优误差指数的通用上下界。该方法结合了最优指数的偏微分方程(PDE)表征,以及 Hamilton-Jacobi PDE 粘性解的比较原理。所推导的界由凸函数、集合与下 Hamiltonian 松弛进行参数化,推广了信息论与多臂老虎机等领域的已知结果。

  26. arXiv stat.ML29

    面向可解释非线性结构系统辨识的深度贝叶斯方法

    深度贝叶斯滤波方法通过将可学习表示嵌入概率状态空间,实现了非线性结构系统辨识中的未知动力学数据驱动建模与物理不确定性推理。研究对比了 Deep Markov Model、PgDMM 与 Neural EKF,并在带有滞回 Bouc-Wen 连接的三维剪切框架基准上测试了状态与参数估计表现。

  27. arXiv stat.ML41

    置信度并非承诺:类型化决策模型的基准审计

    针对开源权重模型 Laya 与 API 模型 Jev 1.13 的审计显示,模型输出置信度不等于单次决策保证,基于点估计的阈值在 190 次评估中有 147 次违背了准确率承诺。相比之下,Learn then Test 方法在全部评估中兑现了承诺,而以英文校准的 Jev 在 51 个语言区域中仅有 8 个维持了 95% 准确率。目前该研究的代码与基准数据已公开发布。

  28. arXiv stat.ML29

    圆周与球面上的方向统计学:审视数据的新视角

    针对角度数据位于圆周而非直线的特性,方向统计学提供了圆周与球面上的概率模型,以解决普通算术平均容易计算出错的问题。内容结合真实风向观测、弥散 MRI 方向与机器学习几何案例,系统探讨了圆周与轴向均值及方向变异度。其核心原则是在选择统计方法前明确数据的几何与对称特征,全文 11 页并附带可复现 R 代码。

  29. arXiv stat.ML27

    半参数贝叶斯网络引入狄利克雷过程混合:一种新型条件密度估计方法

    研究人员提出基于狄利克雷过程混合(DPM)的半参数贝叶斯网络(SPBN)条件概率分布建模方法,以解决传统核密度估计(KDE)推理成本高和误差大的问题。该方法通过扩展开源 PyBNesian 库实现 DPM-SPBN,利用数据自适应聚类提供更紧凑的表示并降低推理成本。在合成与真实数据测试中,DPM-SPBN 在密度估计和网络结构学习误差上均显著低于传统 KDE 方法。

  30. arXiv stat.ML30

    用于风电场布局样本高效贝叶斯优化的 Graph-informed Kriging 模型

    研究人员提出 Graph-informed Kriging 框架,将风电场建模为有向气动图并把交互信息嵌入代理均值函数,以提升布局贝叶斯优化的样本效率。在 IEA Wind Task 37 基准测试中,该方法仅需约 280 次 AEP 评估即获具竞争力的解,并在 16 台风机测试中优于普通与多保真度 Kriging。该框架还拓展至 48 台风机场景,验证了大规模 CFD 布局优化的可行性。

  31. arXiv stat.ML33

    利用 Latent ODE 数据驱动发现李对称性与第一积分

    研究人员提出神经常微分方程方法 LatentLieODE,可直接从视频等时间序列观测中自动发现动力学系统的线性李对称性与第一积分。该方法通过自编码器映射潜在坐标,联合优化可微李括号残差、潜在 ODE 与积分网络。在谐振子、像素摆等 6 个基准系统中,所发现的守恒量与真实值相关性达到 $|\rho| \geq 0.978$,并在球面上成功恢复了非阿贝尔李代数 $\mathfrak{so}(3)$。

  32. arXiv stat.ML36

    针对哪种策略校准?干预下固定世界模型的适形不确定性

    研究提出一种加权适形校准方法,在部署策略变更导致分布偏移时无需重新训练世界模型,即可向目标分布传递边际覆盖保证。在 DINO 特征世界模型与 Franka 机械臂物理轨迹实验中,强偏移下普通 90% 适形集覆盖率降至 55.0%,而学习权重校准实现了 90.9% 覆盖率。相关分类器遗憾界与覆盖合成推导已在 Lean 4 中完成机器验证。

  33. arXiv stat.ML43

    数据价值何时等同于类别平衡?单样本数据估值的覆盖视角

    研究指出单样本数据估值的固定 top-k 筛选规则因无法反映样本交互,易在已覆盖模式上浪费预算。当标签能识别模式时应使用类别平衡,无法识别时应采用显式覆盖;无标签场景下无标签覆盖可提升准确率达 +0.20,而原始 top-k 甚至低于随机选择。该优势依赖特征表示,若相关模式未在模型几何中表达则覆盖策略失效。

  34. arXiv stat.ML25

    QD-PINN:基于物理信息神经网络的高维扩散贝叶斯最速检测方法

    QD-PINN 框架提出利用物理信息神经网络估计高维扩散过程贝叶斯最速检测的最优停止边界,以克服维度灾难。理论上,该工作建立了自由边界 PDE 与无限维随机优化问题的新等价性,为有限维神经网络逼近提供依据。实验通过深度集成和蒙特卡洛 Dropout 量化不确定性,证明其边界估计稳定、变异性低,且与参考数值解高度吻合。

  35. arXiv stat.ML33

    基于自适应 Expectile 聚合的图表示学习

    新提出的自适应图聚合框架 ExpectileGCN 引入可学习 expectile 水平,在极小与极大值行为间连续调节聚合,以捕获超越传统均值的邻域分布信息。该框架基于 sigmoid 平滑与不动点迭代实现端到端优化,并提供理论稳定性与直推式泛化保证。同质与异质图基准实验表明,其预测性能优异,且在特征损坏与结构扰动下具备更强鲁棒性。

  36. arXiv stat.ML32

    SIGMA:用于生成模型不确定性感知验证的端到端框架

    研究者提出端到端框架 SIGMA,将密度估计与原则性不确定性量化相结合,解决物理科学中生成模型因忽略训练统计误差而被标准检验错误否决的问题。该框架利用高斯混合模型,将不确定性作为冗余参数纳入拟合优度检验,把传统点零假设检验升级为复合检验。在二维模型与对撞机物理 QCD 背景基准测试中,该方法使同一模型可信的测试集规模提升达一个数量级。

  37. arXiv stat.ML28

    低维聚类中低阶多项式方法的计算下界

    针对簇数 $K$ 远大于维度 $d$ 的混合分布聚类,新研究证明在多对数中心间距下,低阶多项式算法所需的样本量下界为 $n \gtrsim K^2d^{3/2}$。该下界通过基于对偶 BCH 码构建的 $2K$ 个乘积伯努利混合分布($K=(d+1)^m$)推导得出。通过高斯化论证,该计算硬度结果可进一步推广至各向同性高斯混合模型。