上下文学习中思维链（CoT）的渐近理论
该研究利用高维渐近随机矩阵理论，推导出上下文学习中思维链（CoT）泛化误差关于推理深度、预训练数据量与上下文长度的精确公式。分析揭示了指数改善、饱和及过度思考间的相变，表明更深推理需充足预训练和上下文支持，否则易导致误差放大或饱和。相关预测已在线性注意力和 softmax 注意力模型实验中得到验证。
全部AI 动态
全部动态
今日 1 条arXiv stat.MLAI 评分4444 arXiv stat.MLAI 评分2929 非参数条件矩双层优化的参数化速率
针对条件矩函数双层优化中插件超梯度易继承非参数估计误差的问题，该研究提出了正交化超梯度估计器 OBiGrad。OBiGrad 将投影梯度下降的期望稳态误差从直接插件法的 $O(T^{-1/2}+n^{-1/2}+n^{-\nu/b})$ 优化至 $O(T^{-1/2}+n^{-1/2}+n^{-2\nu/b})$。
arXiv stat.MLAI 评分3535 多变量保形预测（MCP）：利用多个校准变量优化预测集
多变量保形预测（MCP）框架通过在单一优化问题中联合优化并校准多个预测集参数，消除了校准数据划分并保留有限样本覆盖保证。该框架基于情景理论，提出了泛化传统划分保形预测的 RemMCP，以及支持非凸问题的 RelMCP 两种变体。实验表明，两者均稳定达到目标覆盖率，校准方差更低，且在多数设定下生成的预测集尺寸更小或相当。
arXiv stat.MLAI 评分3232 面向信息缺失可解释分类的专家指导类别条件拟合优度评分
研究人员提出一种融合专家先验知识的类别条件拟合优度评分框架，用于解决含信息缺失场景下的可解释分类问题。该框架利用专家指导模型量化观测与缺失数据特征，并结合透明辅助指标驱动简单判别分类器，生成易于审查的决策规则。该方法已应用于全面禁止核试验条约的地震监测场景，且在小样本仿真中性能优于标准机器学习分类器。
arXiv stat.MLAI 评分3434 OneFlowSBI：面向模拟推断的单模型多查询框架
OneFlowSBI 提出了一种掩码流匹配框架，通过在参数与观测的联合分布上训练单一网络，仅切换三元掩码即可采样任意条件或边际分布。该方法将掩码作为直接输入，避免了 Transformer 架构注意力成本随变量数量二次增长的问题，无须重新训练即可处理缺失区域。实验显示，其在高维任务中采样速度显著快于 Transformer，并在多数 SBIBM 任务中达到或超过神经后验估计。
arXiv stat.MLAI 评分3333 潜在非线性去噪得分匹配（LNDSM）增强结构化分布学习
研究人员提出潜在非线性去噪得分匹配（LNDSM），将结构感知的非线性潜在扩散模型与变分自编码器（VAE）框架相结合，以增强对结构化数据分布的学习。该方法在前向扩散中引入高斯混合模型等预设参考分布，通过 Euler-Maruyama 离散化近似交叉熵上界并去除高方差控制变量，实现编码器、解码器与潜在得分网络的稳定联合训练。
arXiv stat.MLAI 评分3030 微调何时具备可扩展性？结构化任务转移下的带噪数据可信恢复与线性成本微调
一项新研究针对单头 Transformer 提出了两阶段微调方案，证明了在任务共享几何结构时的可验证分布外（OOD）适应。该方案将共享几何结构编码至 Key 矩阵与 Value 分解因子 C，微调时仅需优化因子 A，构成凸优化问题。
arXiv stat.MLAI 评分3535 Foreclassing：从预测到决策
研究人员提出机器学习新框架 Foreclassing，将时间序列的类别标签定义为其未来观测值的函数。论文给出了误差界等理论分析，并提出联合执行预测与分类的神经网络模型族 ForeClassNet。在天气、能源和金融数据集上的实验表明，该方法能有效提升分类性能、概率预测质量及下游决策效果。
arXiv stat.MLAI 评分3333 预设参数卷积核的机制解析
该研究深入分析了 ROCKET、MiniROCKET 等模型共用的正值比例（PPV）池化算子，确立了其平移不变性与随机特征几何集中规律。在 UCR 数据集上的实验表明，增加核数量带来的表征增益递减，且最佳测试表现出现在中等卷积核长度，证明非线性池化利于线性分离但表征过度丰富并不必然提升泛化能力。
arXiv stat.MLAI 评分2727 基于联合偏回归的稀疏偏相关非渐近估计
研究者提出一种基于联合偏回归的方法，可同时估计高维稀疏偏相关矩阵与逆协方差矩阵，并具备非渐近收敛率保证。该方法采用两阶段估计框架，利用逆协方差与线性回归的内在联系，同时强制保证估计结果的半正定性。此外，研究推导了用于数值计算的高效近端分裂算法并提供快速实现，在合成与真实数据上验证了有效性。
arXiv stat.MLAI 评分3434 智能体分布回归：通过智能体编写程序进行条件密度估计
研究者提出智能体分布回归（ADR），利用语言模型智能体编写简短程序来实现条件密度估计，生成可独立检查与评估的显式公式。理论上推导了有限样本误差界与模型选择的预言机不等式，并证明了拟正常数的渐近正态性。在模拟研究、12 个真实数据集及新数据集测试中，搭配 Claude Opus 5.5 的 ADR 在所有对比方法中取得了最佳平均表现。
arXiv stat.MLAI 评分3131 输入跳跃连接可在不提升生成器性能的情况下重参数化 VAE
输入跳跃连接（input skip）能在不改变高斯 VAE 样本生成分布的前提下降低重建均方误差（MSE），本质仅对模型进行了重参数化。通过按比例缩放解码器输出和噪声方差，模型可在生成评分不变时将重建 MSE 缩减至 $(1-\alpha)^2$ 倍。实验表明降低重建误差甚至会恶化能量评分（energy score），证明评估生成质量不能仅依赖重建误差。
arXiv stat.MLAI 评分3434 LinMix：将数据混合建模为线性领域归因
研究人员提出数据混合方法 LinMix，通过在截断单纯形顶点采样解耦领域效应，无需超参数即可通过线性归因直接确定最优预训练数据配比。在 1B OLMo2 与 4B Qwen3.5 实验中，LinMix 较 Dirichlet 采样基准在 MBPP 和 GSM8K 上分别取得 46% 与 14% 的相对增益，并在 288 个细粒度领域下将平均基准准确率提升 11%。
arXiv stat.MLAI 评分3030 面向预测模型的基于成本变量选择算法
研究提出一种基于净获益的决策分析变量选择算法，并将其实现为 R 包 NBvarsel。该算法综合考虑误分类代价以及变量测量带来的资金支出、时间与患者负担等损害，仅在预测收益超过测量成本时纳入变量。案例研究表明，该方法在基本不影响模型区分度和校准度的前提下生成了精简模型，能够显著优化临床实用性。
arXiv stat.MLAI 评分2626 面向贝叶斯校准的 Rényi 正则化流变分推断
针对归一化流变分推断在多模态贝叶斯校准中易丢失模态的问题，新研究提出引入 Rényi 散度正则化项，以促使近似后验覆盖先验支撑集。在模态充分分离的双参数实验中，该正则化将近似崩塌的比例从 50% 降低至 25%。该方法虽然改善了模态覆盖率，但改变了原始变分目标并引入了精度权衡，并非模态崩塌的通用解法。
arXiv stat.MLAI 评分3434 物理引导流匹配：用于全球总电子含量预测的生成式 AI 框架
研究人员提出一种物理引导的流匹配（Flow Matching）生成式 AI 框架，用于提前一天的全球总电子含量（TEC）预测，将偏微分方程描述的电离层动力学融入生成过程。该模型基于 TIEGCM 生成的 1 年数据进行训练评估，平均 RMSE 相比 ConvLSTM 降低 39.2%，相比无物理引导的同框架降低 23.8%。实验表明显式物理引导在所有预报时效和纬度上均显著提升了时空预测精度。
arXiv stat.MLAI 评分5353 研究提出大语言模型中转 API 审计方法 DFA：低成本检测模型偷换与掺水
研究人员提出分布指纹审计（DFA）统计方法，仅需文本响应即可在黑盒环境下低成本检验大语言模型中转 API 是否真实提供了用户请求的模型。该方法通过重复查询简单有限选择探针构建端点指纹，并利用柯西组合检验聚合证据输出统计 p 值；在涵盖 10 个模型家族共 16 款模型的测试中，仅需 5 个探针和 250 次中转请求即可实现高检出率。
arXiv stat.MLAI 评分3232 边缘端在线气体分类
受昆虫嗅觉系统启发，研究人员提出一种基于稀疏高维二值表示的神经网络架构，用于边缘端气体在线分类。该架构仅依赖二值权重与 Hebbian 局部学习，在混合气体分类测试中性能匹敌优化后的非线性 SVM。在混合信号神经拟态芯片 TEXEL 上的实测显示，该片上分类器取得 74.6% 准确率，单次推理能耗仅 482 nJ，静态功耗为 27 μW。
arXiv stat.MLAI 评分3636 iFLEX：科学机器学习中时间插值的生成式细化学习
研究人员提出科学机器学习插值模型 iFLEX，利用条件扩散模型学习加权数值插值与真实物理场的残差以重构中间场。该模型在 Navier-Stokes 湍流、上海雷达降水及海表温度数据上表现优于光流和视频插值扩散等基线。在雷诺数 36,000 的湍流测试中，其相对 Frobenius 范数误差从直接生成的约 13.7 降至 10.5，代码已开源。
arXiv stat.MLAI 评分3030 保守型对决老虎机：基线约束下的偏好学习
针对成对比较偏好学习，研究提出保守型上下文对决老虎机，要求展示的较优选项累积得分不低于受信任基线的 $(1-\alpha)$ 比例。针对直接套用传统 CLUCB 算法会导致线性遗憾的问题，论文面向线性和通用效用分别开发了具备安全保证与次线性遗憾的 MaxInP-BC 与 BTIGW-BC 算法。实验表明两者均能以适度遗憾代价严格满足基线约束。
arXiv stat.MLAI 评分2424 基于 PDE 的主动简单假设检验最优指数界
研究提出了主动简单假设检验（ASHT）中最优误差指数的通用上下界。该方法结合了最优指数的偏微分方程（PDE）表征，以及 Hamilton-Jacobi PDE 粘性解的比较原理。所推导的界由凸函数、集合与下 Hamiltonian 松弛进行参数化，推广了信息论与多臂老虎机等领域的已知结果。
arXiv stat.MLAI 评分2929 面向可解释非线性结构系统辨识的深度贝叶斯方法
深度贝叶斯滤波方法通过将可学习表示嵌入概率状态空间，实现了非线性结构系统辨识中的未知动力学数据驱动建模与物理不确定性推理。研究对比了 Deep Markov Model、PgDMM 与 Neural EKF，并在带有滞回 Bouc-Wen 连接的三维剪切框架基准上测试了状态与参数估计表现。
arXiv stat.MLAI 评分2525 基于正交标架的测度 Wasserstein 近似：统计与计算复杂度
该研究将无监督稀疏基选择问题建模为基于正交标架的数据分布 Wasserstein 近似，并转化为正交群 $\mathrm{O}(d)$ 上的非光滑优化。理论证明在温和假设下，经验风险最小化与局部初始化的随机梯度方法均能以接近参数速率 $\widetilde{O}_d(n^{-1/2})$ 恢复总体最优标架。
arXiv stat.MLAI 评分4141 置信度并非承诺：类型化决策模型的基准审计
针对开源权重模型 Laya 与 API 模型 Jev 1.13 的审计显示，模型输出置信度不等于单次决策保证，基于点估计的阈值在 190 次评估中有 147 次违背了准确率承诺。相比之下，Learn then Test 方法在全部评估中兑现了承诺，而以英文校准的 Jev 在 51 个语言区域中仅有 8 个维持了 95% 准确率。目前该研究的代码与基准数据已公开发布。
arXiv stat.MLAI 评分2929 圆周与球面上的方向统计学：审视数据的新视角
针对角度数据位于圆周而非直线的特性，方向统计学提供了圆周与球面上的概率模型，以解决普通算术平均容易计算出错的问题。内容结合真实风向观测、弥散 MRI 方向与机器学习几何案例，系统探讨了圆周与轴向均值及方向变异度。其核心原则是在选择统计方法前明确数据的几何与对称特征，全文 11 页并附带可复现 R 代码。
arXiv stat.MLAI 评分2727 半参数贝叶斯网络引入狄利克雷过程混合：一种新型条件密度估计方法
研究人员提出基于狄利克雷过程混合（DPM）的半参数贝叶斯网络（SPBN）条件概率分布建模方法，以解决传统核密度估计（KDE）推理成本高和误差大的问题。该方法通过扩展开源 PyBNesian 库实现 DPM-SPBN，利用数据自适应聚类提供更紧凑的表示并降低推理成本。在合成与真实数据测试中，DPM-SPBN 在密度估计和网络结构学习误差上均显著低于传统 KDE 方法。
arXiv stat.MLAI 评分2828 $\ell_p$ 球上在线线性优化的极小化极大最优小损失界
一项针对 $\mathbb{R}^d$ 中单位 $\ell_p$ 球（$2\le p<\infty$）全信息在线线性优化的 FTRL 算法，在无需预知 $T$ 或 $\Delta_T$ 的情况下取得了 $O_p(1+\min\{\Delta_T^{1-1/p},\, d^{1/2-1/p}\sqrt{\Delta_T}\})$ 的极小化极大最优悔流界。
arXiv stat.MLAI 评分3030 用于风电场布局样本高效贝叶斯优化的 Graph-informed Kriging 模型
研究人员提出 Graph-informed Kriging 框架，将风电场建模为有向气动图并把交互信息嵌入代理均值函数，以提升布局贝叶斯优化的样本效率。在 IEA Wind Task 37 基准测试中，该方法仅需约 280 次 AEP 评估即获具竞争力的解，并在 16 台风机测试中优于普通与多保真度 Kriging。该框架还拓展至 48 台风机场景，验证了大规模 CFD 布局优化的可行性。
arXiv stat.MLAI 评分3333 利用 Latent ODE 数据驱动发现李对称性与第一积分
研究人员提出神经常微分方程方法 LatentLieODE，可直接从视频等时间序列观测中自动发现动力学系统的线性李对称性与第一积分。该方法通过自编码器映射潜在坐标，联合优化可微李括号残差、潜在 ODE 与积分网络。在谐振子、像素摆等 6 个基准系统中，所发现的守恒量与真实值相关性达到 $|\rho| \geq 0.978$，并在球面上成功恢复了非阿贝尔李代数 $\mathfrak{so}(3)$。
arXiv stat.MLAI 评分3636 针对哪种策略校准？干预下固定世界模型的适形不确定性
研究提出一种加权适形校准方法，在部署策略变更导致分布偏移时无需重新训练世界模型，即可向目标分布传递边际覆盖保证。在 DINO 特征世界模型与 Franka 机械臂物理轨迹实验中，强偏移下普通 90% 适形集覆盖率降至 55.0%，而学习权重校准实现了 90.9% 覆盖率。相关分类器遗憾界与覆盖合成推导已在 Lean 4 中完成机器验证。
arXiv stat.MLAI 评分4343 数据价值何时等同于类别平衡？单样本数据估值的覆盖视角
研究指出单样本数据估值的固定 top-k 筛选规则因无法反映样本交互，易在已覆盖模式上浪费预算。当标签能识别模式时应使用类别平衡，无法识别时应采用显式覆盖；无标签场景下无标签覆盖可提升准确率达 +0.20，而原始 top-k 甚至低于随机选择。该优势依赖特征表示，若相关模式未在模型几何中表达则覆盖策略失效。
arXiv stat.MLAI 评分2525 QD-PINN：基于物理信息神经网络的高维扩散贝叶斯最速检测方法
QD-PINN 框架提出利用物理信息神经网络估计高维扩散过程贝叶斯最速检测的最优停止边界，以克服维度灾难。理论上，该工作建立了自由边界 PDE 与无限维随机优化问题的新等价性，为有限维神经网络逼近提供依据。实验通过深度集成和蒙特卡洛 Dropout 量化不确定性，证明其边界估计稳定、变异性低，且与参考数值解高度吻合。
arXiv stat.MLAI 评分3333 基于自适应 Expectile 聚合的图表示学习
新提出的自适应图聚合框架 ExpectileGCN 引入可学习 expectile 水平，在极小与极大值行为间连续调节聚合，以捕获超越传统均值的邻域分布信息。该框架基于 sigmoid 平滑与不动点迭代实现端到端优化，并提供理论稳定性与直推式泛化保证。同质与异质图基准实验表明，其预测性能优异，且在特征损坏与结构扰动下具备更强鲁棒性。
arXiv stat.MLAI 评分3232 SIGMA：用于生成模型不确定性感知验证的端到端框架
研究者提出端到端框架 SIGMA，将密度估计与原则性不确定性量化相结合，解决物理科学中生成模型因忽略训练统计误差而被标准检验错误否决的问题。该框架利用高斯混合模型，将不确定性作为冗余参数纳入拟合优度检验，把传统点零假设检验升级为复合检验。在二维模型与对撞机物理 QCD 背景基准测试中，该方法使同一模型可信的测试集规模提升达一个数量级。
arXiv stat.MLAI 评分2828 低维聚类中低阶多项式方法的计算下界
针对簇数 $K$ 远大于维度 $d$ 的混合分布聚类，新研究证明在多对数中心间距下，低阶多项式算法所需的样本量下界为 $n \gtrsim K^2d^{3/2}$。该下界通过基于对偶 BCH 码构建的 $2K$ 个乘积伯努利混合分布（$K=(d+1)^m$）推导得出。通过高斯化论证，该计算硬度结果可进一步推广至各向同性高斯混合模型。
arXiv stat.MLAI 评分3131 DR-KTE-Deep：面向结构化结局的双重稳健深度核检验
DR-KTE-Deep 是一种针对图像、文本和图等高维结构化结局的双重稳健深度核检验方法，用于检验两种干预是否诱发相同的结局分布。该方法将干预分布表示为深度特征上的均值嵌入，并通过最大化估计功效准则来优化特征。实验表明，DR-KTE-Deep 在保持良好校准的第一类错误的同时，检验功效显著优于传统核基准方法。
arXiv stat.MLAI 评分3535 ReLU 网络的内在信息论分析
一项新研究提出针对 ReLU 等连续分段线性（CPWL）网络的内在信息论分析框架，利用输入空间几何分区的离散区域标签直接分解互信息（MI）。其主导项“路由信息”支持即插即用估计器，并在分区饱和时通过单一参数的功能等价商恢复度量有效性。实验显示该路由估计器的测量结果与 3 个既有 MI 基线高度一致。
arXiv stat.MLAI 评分3030 边界几何决定加权系数约束下浅层 ReLU 网络的最优逼近
在凸体上的加权变差空间中，定义域的边界几何特征决定了浅层 ReLU 神经网络的最优 $L^q$ 逼近指数。论文确立了任意凸体的上下界，确定了所有平面凸体及其多胞体乘积、以及主曲率全为正的 $C^2$ 凸体在所有有限 $q \ge 2$ 时的最优指数。当目标为有限 ReLU 网络时，该上界可由仅使用原神经元的压缩网络实现，且不增加加权系数和。
arXiv stat.MLAI 评分2525 基于 Boosting 的保险理赔频率与严重度联合分布 Copula 回归
研究提出一种基于模型的 boosting 方法，用于拟合结构化加性分布 Copula 回归模型，重点联合建模保险理赔频率与理赔严重度。该方法基于 GAMLSS 框架，使响应分布的多个参数均依赖协变量，相比黑盒模型具备内在可解释性与审计性。合成与真实数据实验表明，该框架能有效恢复依赖结构并识别重要变量，取得了具竞争力的预测性能。
arXiv stat.MLAI 评分3333 图分离准则算法研究
研究提出针对统计图模型分离准则的高效检验算法，证明所研究准则均可通过可达性（reachability）的模块化变体实现检验。除 $\sigma$-separation 外，该方法对所有准则均达到线性时间复杂度，匹敌图加载的理论最优时间。团队基于 CIfly 框架提供了 R 与 Python 代码实现，并通过仿真实验验证了运行效率与扩展表现。