跳到正文

全部动态

今日 7 条
10月15日周四
  1. arXiv stat.ML31

    混合泊松扩散模型及其在后验采样中的应用

    研究人员提出了混合泊松扩散模型(MPDM),通过多元计数过程驱动的泊松加噪动力学替代传统高斯加噪过程。该方法专门针对观测数据呈离散泊松分布的逆问题,衍生出多种基于 MPDM 的后验采样算法。在实际泊松逆问题上的评估表明,该框架能良好适配此类问题的后验采样需求。

  2. arXiv stat.ML30

    Weighted Adjoint Matching:基于时变控制成本微调 Flow Matching 模型

    研究者提出 Weighted Adjoint Matching 方法,用于在给定可微奖励的情况下微调预训练扩散模型或 Flow Matching 模型。该方法通过在控制成本上引入时变权重,在生成早期设置高成本以保留粗粒度特征的语义平衡与多样性,后期设置低成本以微调细节并提升奖励。高斯混合模型和 MNIST 实验表明,该方法在奖励与模态平衡之间取得了优于 Adjoint Matching 的权衡。

  3. arXiv stat.ML27

    连续马尔可夫链伪谱隙的极小化极大估计及其在经验集中不等式中的应用

    研究者提出了针对紧致连续状态空间马尔可夫链的伪谱隙估计器,可仅凭单条轨迹观测值完成估计。在转移算子具有 Lipschitz 密度的马尔可夫链类上,该估计器在对数项意义下达到极小化极大最优。结合 Bernstein 不等式,该成果可推导出经验集中不等式,并在无伪谱隙先验知识的情况下,为具有马尔可夫奖励的 rested bandits 构建了类似 iid 情况遗憾界的 UCB 算法。

  4. arXiv stat.ML29

    过参数化加权 MMD 的优化景观研究

    研究探讨了加权原子测度下最大均值差异(MMD)的优化景观,在 1D 高斯核下证明了足够多的粒子可确保所有局部极小值的 MMD 任意小。任何 MMD 显著大于零的驻点在粒子位置的未加权梯度流下均不稳定,该结论在权重受限于单纯形或每步进行优化时均成立。若目标分布为有限支撑,超出明确粒子阈值后将不存在伪局部极小值。

  5. arXiv stat.ML33

    基于文本信息的训练数据过滤方法以提升虚拟流量计性能

    研究人员提出一种基于大语言模型(LLM)的文本信息数据过滤方法,通过结合非结构化运行日志与表格传感器数据来过滤训练集,提升虚拟流量计的性能。该方法先跨模态进行上下文异常检测,再生成二进制掩码过滤下游回归模型的训练数据。在合成油气数据集的实验中,多模态过滤将下游 MAPE 从纯传感器过滤的 7.1% 降至 5.4%。

  6. arXiv stat.ML38

    System 1 模型的校准与风险预算决策研究

    研究针对缺乏人工兜底的 LLM 工作流与智能体二元决策场景,提出在不确定时采用保守策略并控制假阴性风险的框架。在涵盖审核、安全与重排序的 6 个数据集评测中,朴素阈值选择基准在约半数设定下超出了目标风险,而具备有限样本统计保证的 Learn Then Test(LTT)超标率仅为 7.8%。该结果表明仅依赖类概率接口不足以支撑部署决策。

  7. arXiv stat.ML36

    用于概率图生成的序列符号框架 SNACK

    研究者提出了概率图生成字符串表示框架 SNACK,通过编码下三角邻接矩阵的非零项将图线性化,使序列模型能够生成包含离散节点和边特征的图。该设计支持无效 logit 掩码以施加结构约束,保证生成序列 100% 有效,并支持基于字符串的 GFlowNet 训练。实验表明其具备有竞争力的采样质量,显著提升了 GFlowNet 训练吞吐量。

  8. arXiv stat.ML34

    基于风险控制的机器学习原子间势能 DFT 选择方法

    研究人员提出一种基于共形风险控制(CRC)的框架,用于解决机器学习原子间势能(MLIP)与密度泛函理论(DFT)之间的回退选择难题。该方法利用轻量级预测器评估能量、平均力与最大力的分歧得分,并校准出阈值,确保未选配置的 MLIP 误差低于用户设定的预期误差比例 $\alpha$。

  9. arXiv stat.ML25

    用于霍克斯过程背景强度估计的投影 Wasserstein-Fisher-Rao 流

    研究者提出一种基于 Wasserstein-Fisher-Rao 几何的似然变分方法,用于在触发机制已知时估计霍克斯过程的背景强度。该方法针对一阶变分属于分布值的特点构建了分布动力学框架,并通过向统计流形投影赋予其有限维意义,同时证明了经验投影方程可测估计量的条件一致性定理。最终,该研究将该方案特化至高斯混合流形,导出了显式的有限维计算方案。

  10. arXiv stat.ML32

    后验采样的内在隐私性研究:统一的 Rényi 散度分析框架

    研究者提出了一个基于 Rényi 散度的统一分析框架,用于刻画从贝叶斯后验分布中采样的内在差分隐私(DP)保证。该理论表明单次后验采样(OPS)的隐私损失由单条记录对数似然比的后验指数矩决定,并在一致有界、次高斯或次指数尾部条件下建立了显式 DP 保证。该框架适用于分类似然、高斯共轭对及广义线性模型等,不仅提供了更紧的隐私损失界,还拓展了支持严格隐私分析的贝叶斯模型范围。

  11. arXiv stat.ML34

    基于多重不可靠标签的噪声标签校准方法

    针对医疗标注和众包场景中不可靠标注导致的校准评估偏差,研究提出仅利用含噪标注评估并重新校准二分类预测器的方法。该研究提出了带非渐近偏差界限的噪声校正期望校准误差指标 NC-ECE,并设计了基于损失和直方图的事后重新校准算法。半合成基准实验显示,NC-ECE 能紧密贴合真实标签参考值,且该重校准方法可显著改善潜在真实标签的校准表现。

  12. arXiv stat.ML29

    状态匹配序列共形预测方法 SMSCP

    研究者提出状态匹配序列共形预测(SMSCP),通过前置目标信息构建显式单侧局部线性状态,并利用状态相似性筛选匹配的历史校准评分集合。在太阳辐射和共享单车需求基准测试中,SMSCP 的区间评分优于基于时间邻近、加权、自适应及 HopCPT 的对比方法。在 6 个基准中的 5 个上,该方法比 ResCP 实现了更接近 0.90 标称水平的覆盖率。

  13. arXiv stat.ML34

    多敏感属性分布公平性:联合 Wasserstein 审计与 Shapley 分配

    研究提出一种基于一维 Wasserstein 几何的多敏感属性分布公平性框架,解决单属性审计易忽略交叉性差异的问题。该方法利用条件分位数过程诱导信息博弈,通过鞅分解将联合差异精确展开,并借助 Shapley 值实现无偏序的敏感属性归因。研究还提供了固定网格估计器与置换校准,并在合成数据集与 ACSIncome 上完成了验证。

  14. arXiv stat.ML31

    因果发现可识别性研究:从完全数据推广至缺失数据场景

    研究人员提出了将完全数据因果发现算法的正确性保证扩展至缺失数据场景的理论框架,建立了因果图在包括非随机缺失(MNAR)等类别下保持可识别的通用充分条件。在无未观测混杂因素的前提下,当缺失机制无因果交互、变量不直接导致自身缺失,且满足忠实性或广义线性模型假设时可识别性成立。基于该理论,团队针对加性噪声模型(ANM)推出了两种渐进正确的因果图恢复与参数估计算法。

  15. arXiv stat.ML29

    基于扩散模型正则化 Stein 变分梯度下降的结构感知贝叶斯全波形反演

    研究人员提出一种通过扩散模型正则化退火 Stein 变分梯度下降(ASVGD)的贝叶斯全波形反演(FWI)方法。该方法将训练好的扩散模型作为隐式正则化与地质投影算子,引导粒子速度模型趋向合理分布,克服了传统高斯或平滑等手工先验的局限。数值实验表明,该方法可生成更符合地质特征的均值模型,有效抑制非物理伪影,并提供更集中于结构复杂区域的不确定性量化。

  16. arXiv stat.ML25

    Student Copula 马尔可夫网络

    研究人员提出了 Student Copula 马尔可夫网络,将无向概率图模型扩展至非高斯数据。该研究通过 copula 密度刻画了无向图模型的成对马尔可夫性质,并推导出 Student Copula 马尔可夫网络的必要条件。同时提出的 ECM 算法可实现惩罚极大似然估计与图结构恢复,仿真实验验证了其参数估计与图选择的有效性。

  17. arXiv stat.ML32

    用于多治疗方案个体化治疗规则学习的神经监督聚类方法

    研究者提出了非线性监督聚类融合(NSCF)框架,通过神经 Q-learning 结合共享非线性协变量表征与低维治疗嵌入向量,用于在多治疗方案下学习个体化治疗规则(ITR)。该方法利用成对融合将具有相似对比的治疗方案分组,生成可解释的分区。在非线性精确共享模拟中,NSCF 相比强神经基线降低了遗憾值;在黑色素瘤异种移植应用中,也提升了平均策略价值。

  18. arXiv stat.ML33

    用于传染病模型参数估计的共形化物理信息弱回归

    研究者提出了用于传染病模型参数估计的物理信息弱回归(PIWR),通过时间积分避免对数据求导并结合分割共形预测提供不确定性量化。在 11 个疾病信息神经网络(DINN)基准模型上,PIWR 或 PIR-FD6 的精度比 DINN 结果高出 1 到 4 个数量级,单次拟合仅需约 1 毫秒且 90% 区间在全部 88 种设置中达到 87%–92% 的覆盖率。

  19. arXiv stat.ML34

    离散扩散模型在稀疏性假设下具有 Minimax 最优性

    离散扩散模型在稀疏性假设下被证明具有 Minimax 最优的统计收敛速率。研究通过分析基于正则化 score-entropy 目标函数的非参数估计器,表明该模型能够内生适应稀疏性。所提出的正则化方法改编自用于分类的标签平滑技术,且无需事先知晓稀疏度参数。

  20. arXiv stat.ML34

    基于可复用局部后验的半均摊贝叶斯推理

    研究者提出一种基于可复用局部后验的半均摊贝叶斯推理方法,通过将参数划分为更小的块并利用条件独立性来推断高维复杂模型。该方法仅对计算昂贵或重复更新的参数块训练神经估计器,通过马尔可夫链交替执行神经估计器的直接采样与其余变量的传统更新。神经更新无需计算似然或接受-拒绝步骤,且同一估计器可在具有相同条件结构的块与数据集之间复用。

  21. arXiv stat.ML26

    随机沃尔泰拉方程的 Wong-Zakai 收敛性与 FNO 算子学习研究

    研究针对描述具记忆随机系统的随机沃尔泰拉积分方程(SVIE),确立了布朗运动分段线性逼近下的 Wong-Zakai 收敛定理。该理论为使用镜像填充傅里叶神经算子(FNO)学习从初始条件及驱动噪声到解轨迹的解算子奠定了基础。数值实验表明该方法具备高预测精度,能泛化至比训练时更精细的时间网格,并评估了填充对计算成本的影响。

  22. arXiv stat.ML29

    延迟复杂度维度:带延迟与截断标签的学习理论研究

    研究人员提出了延迟复杂度维度(DCD),用于刻画标签存在随机延迟且在观察窗口 $W$ 外被截断时的 PAC 学习样本复杂度。所有学习器至少需要 $\Omega(\mathrm{DCD}/\varepsilon^2)$ 个样本,理论推导表明适度的观察窗口在固定收集期下表现可优于即时标签。合成数据与 Criteo 转化日志实验验证了相关预测。

  23. arXiv stat.ML32

    用于零膨胀连续结局的贝叶斯因果森林

    研究者提出了用于零膨胀半连续数据的解耦非参数因果效应估计方法 ZIC-BCF-Smear。该方法通过 Probit BCF 建模全样本参与概率,并在活跃子群体上用 Gaussian BCF 结合子群体倾向调整(SPA)建模正值强度,最后借助段氏涂抹估计器(Duan's smearing)重转换预测。

  24. arXiv quant-ph19

    通过贝叶斯优化从含噪自旋压缩态中提取计量信息

    研究人员通过贝叶斯优化测量结果分布,为存在静态局部频率无序的相互作用自旋 1/2 系综优化了集体读出方式。该方法结合偶极与四极算符构建可观测量,在最多 17 个自旋的系综中,其无序平均经典 Fisher 信息量(CFI)在两种测试无序强度下均超越标准量子极限。对于较大系综,将编码轴固定在最大化无序平均量子 Fisher 信息的方向上,仍能保持相近性能。

  25. arXiv quant-ph25

    用于类注意力选择性复现的量子储层计算

    研究提出一项面向量子储层计算(QRC)的新任务,通过模拟自旋储层与训练线性读出,根据二进制提示从两路并发输入流中选择性复现指定流。在无限次测量下储层可精准复现目标流;在有限测量次数 $N_M$ 下受采样噪声影响,性能在较大 $N_M$ 时超越原始输入的线性读出。该性能随计算基下的纠缠与相干性增强而提升并趋于饱和。

  26. arXiv quant-ph32

    基于经典影子的量子数据联邦遗忘学习 SHADE

    研究人员提出了基于经典影子(classical shadow)的量子数据遗忘方案 SHADE,用于在不可重放的量子联邦学习中擦除指定量子数据。各节点仅需记录训练态的经典影子,并通过联邦牛顿校正估计并消除遗忘数据的梯度与曲率影响,网络间仅传输经典估计。在 50 个节点及边缘板卡的仿真中,SHADE 无需重放即可在 0.2 s 内完成遗忘,遗忘准确率与重新训练相比相差在 0.5 点以内。

  27. arXiv cs.LG31

    用于偏好学习的全序列高斯过程回归

    针对无法直接评估目标函数、仅能获取含噪两两比较结果的连续全局优化问题,研究人员提出了一种基于矩匹配的全序列高斯过程回归近似方法,可实现元模型均值与协方差的快速闭式更新。在此基础上,研究提出结合信息增益准则与随机采样的全序列采样策略 DOVE,以控制误差累积。在标准正则性条件下,该工作证明了取决于核平滑度的统计误差和期望简单遗憾的收敛率。

  28. arXiv cs.LG35

    RA$^2$:利用保留锚定吸引在 LLM 遗忘学习中保留邻近遗忘效用

    研究提出大语言模型隐空间遗忘学习方法 RA$^2$(Retain-Anchored Attraction),将遗忘 token 状态重定向至邻近保留表示,以解决模型在临近遗忘领域提示词下良性推理退化的问题。在 WMDP 和 MUSE 测试中,RA$^2$ 在保持相似广泛效用水平的同时,取得了优于强基线模型的邻近遗忘效用,相关代码已开源。

  29. arXiv cs.LG33

    结构化优化网络鲁棒解释分析方法 REASON 提出双循环学习机制

    研究者提出了结构化优化网络鲁棒解释分析方法 REASON,受系统 1/系统 2 范式启发构建双循环机制以应对分布偏移和扰动。该机制通过快速循环处理现有证据,未解决的认知残差则触发中速循环主动获取补充证据,理论上保证中速循环最优解不劣于快速循环。实验表明,该模型在未见损毁下仅需中速循环约一半的计算量即可持续提升性能,并在获得更清晰观测时优于分阶段分类器和延迟学习方法。

  30. arXiv cs.LG38

    JEPA 世界模型中单步预测保真度难以作为规划性能的有效替代指标

    研究发现 JEPA 世界模型中的单步预测误差无法有效表征目标导向规划性能,两者相关性在首个 epoch 后迅速饱和。在连续控制实验中,首个 epoch 保真度提升 32%、规划提升 4.4 pp,但随后的 15 个 checkpoint 中保真度再提升 15%,单步误差与规划成功率的相关性仅为 r = -0.010。

  31. arXiv cs.LG46

    策略验证自训练(PVST):从可验证策略奖励中学习 AI 智能体合规性

    研究人员提出策略验证自训练(PVST),利用确定性策略验证器将智能体运行时的合规与违规动作转化为奖励信号进行偏好优化,无需人类偏好标注或更强教师模型。在 AgentDojo 基准测试中,基于 Qwen3-8B 的训练使提示词注入下的违规轨迹从 37.2% 降至 10.3 ± 0.9%,攻击成功率从 12.4% 降至 0.5%,验证器干预率从 39.2% 降至 8.8%。

  32. arXiv cs.LG34

    动态图世界建模 DyG-WM:从时序上下文学习未来动态

    研究人员提出动态图世界建模框架 DyG-WM,首次实现从时序上下文中联合预测未来的节点与关系表示。该框架结合历史节点-关系上下文编码器与路径签名编码器捕捉有序结构演化,并通过双层联合嵌入目标直接预测目标快照表征,无需重构原始图。在 12 个链接预测和 2 个节点分类数据集上的实验验证了其有效性。

  33. arXiv cs.LG40

    Transformer 架构的渐近行为研究

    研究发现单层 3 个 token 的纯注意力 Transformer 在长时间生成文本时可能无法收敛。针对包含任意有限深度、层归一化、MLP、RoPE 编码以及局部与全局层混合的 Transformer 类别,每个模型都存在一个 softmax 温度阈值,高于该阈值时经验缓存分布会收敛至独立于初始条件的唯一极限。

  34. arXiv cs.LG33

    BFHD:用于异构临床评估的双向特征协调分解方法

    研究人员提出双向特征协调分解框架 BFHD,将测量维度的异构临床评估协调表述为双向可恢复性问题。该框架结合双向耦合转换与基于特征维度的输出门控机制,能在原始测量空间中识别可双向转换的测量指标并分离不可转换成分。合成数据与真实临床评估实验表明,BFHD 相比基线方法实现了更广泛的可行协调覆盖率与更优的子集稳定性。

  35. arXiv cs.LG27

    集成新颖性检测系统:从传感器网络到多类型新颖性计算机视觉

    该研究针对天气传感器网络与计算机视觉领域提出了集成的异常与新颖性检测方案。针对气象雨量计堵塞检测,研究评估了 CMM、PSWQ、核回归及高斯法四种现有质量控制方法并指出其局限,进而提出结合概率故障检测与一致性诊断框架的三种新技术以降低误报。在计算机视觉方面,研究推出了包含多种新颖性形态的 NOVEL-SS 数据集,并提出了集检测、表征与适应于一体的 DCA 基线系统。

  36. arXiv cs.LG34

    反事实门控支撑集分解(CGSD):解构训练数据过滤中的样本选择与分布重排机制

    研究者提出了反事实门控支撑集分解(CGSD),这是一种匹配预算的四臂实验设计,用于将训练数据过滤门控效应分解为支撑集内选择、支撑集间重排及二者的交互作用。在韩英和韩日检索任务中,支撑集内选择是唯一显著超过校准零分布带的分量(留出集分别增加 +29.7 和 +5.6 项),且在基于模型置信度阈值的门控中同样表现一致(+27.3 项)。该方法能防止将支撑集分布重排误当做样本级门控质量。

  37. arXiv cs.LG38

    为什么 Graph Transformer 不会注意力集中在同一个 token 上?

    研究发现图 Transformer 模型 GRIT 在分子数据上极少出现 LLM 中常见的注意力汇聚(attention sink)现象,且在更大图上训练时汇聚更少。实验证明注意力打分函数是主因:将 GRIT 的门控 logit 替换为点积后,其汇聚率从 0.09 飙升至 0.68。注意力汇聚并非 Transformer 本身的固有属性,而是点积注意力的特性。