跳到正文

#arXiv

今日 67 条
10月23日周五
  1. arXiv stat.ML33

    当重构不再足够:基于多模态学习表征的双重稳健反事实与干预中介分析

    仅依赖重构等协变量目标训练的多模态表征无法保证因果识别,且双重稳健与交叉拟合均无法消除其引发的一阶表征偏差。为此,研究提出结合模态特定变分自编码器、交叉拟合双重稳健估计器及表征诊断的因果分析工作流。模拟实验表明,遗漏罕见混杂因素会导致 n = 3,000 时区间覆盖率降至 2%,而简单预测诊断可在所有重复实验中成功捕获该问题。

  2. arXiv stat.ML51

    AI Mindmeld:面向大模型与专家模型的潜空间互联协议 LIP

    研究团队提出潜空间互联协议(LIP),通过仅训练轻量连接器将领域专家模型的表征映射至大模型内部状态,实现跨模型的高维表征直接交换。实验在完全冻结预训练模型的前提下,成功将 3 个蛋白质与 3 个小分子专家模型接入 Gemma 3 和 Kimi K2.6,展现出无须联合训练的跨领域零样本任务迁移能力。作者指出当前大模型尚缺乏对专家表征的原生推理支持,并已开源相关数据、连接器权重与评测代码。

  3. arXiv stat.ML38

    通过选择性审核实现可靠的 AI 辅助决策

    新方法通过选择性审核对连续决策的 AI 系统进行在线监控,在保证未被审核的 AI 错误率低于预设阈值的前提下,最小化专家审核频率。该系列算法无需预设假设即可提供可证明的错误控制保证,能在对抗流与独立同分布数据流中渐近达到最优审核率。在大语言模型有害请求过滤和数据标注等实验中,该方法有效实现了错误控制并大幅减少了人工审核需求。

  4. arXiv stat.ML26

    基于并行梯度提升的概率分布非参数自回归估计

    研究人员提出通过自回归方式将联合分布分解为条件分布估计器,并基于并行梯度提升构建非参数估计模型。理论证明,在损失函数满足次可加性时,联合分布的收敛速率界可由条件分布估计器的收敛速率界导出,并受依赖图稀疏度约束。在模拟和真实数据集的测试中,该方法即使不优化分解顺序也展现出具有竞争力的估计性能。

  5. arXiv stat.ML30

    岭可分模型中未调整朗之万算法的无维度依赖机制:子空间鲁棒 Wasserstein 分析

    研究人员通过子空间鲁棒 Wasserstein 距离分析了高维贝叶斯推理中未调整朗之万算法(ULA)的偏差与混合时间。针对由独立同分布数据构成的岭可分势函数,理论证明了复杂度随样本量 $N$ 与维度 $d$ 的比值呈现钟形混合特征:在超参数化机制下复杂度仅取决于秩 $N$ 而非 $d$,在大样本机制下可实现无维度依赖复杂度,而在 $N \asymp d$ 的比例机制附近通常无法获得无维度依赖保证。

  6. arXiv stat.ML33

    基于条件期望局部半径的度量共形预测方法

    研究者提出了条件期望局部半径(CELR),为通用度量空间中的非欧几里得响应构建了一种新型共形预测方法。该方法无需密度估计或向量空间结构即可适应异质性与多模态,并通过其条件分布生成跨协变量可比的不一致性得分。配套的度量分布随机森林支持单次拟合提供全部得分组件,在保证有限样本边际覆盖的同时显著降低了计算开销。

  7. arXiv stat.ML32

    度量空间中随机对象的深度学习:超越流形假设

    研究者提出一种面向度量空间中随机对象回归的深度学习框架,直接基于响应空间的度量结构运算,摆脱了传统流形或欧氏嵌入假设。该方法在理论上具备统计一致性与收敛速度保证,并明确了缓解分层组合回归函数维度灾难的条件。在模拟实验以及基于高分辨率加速度计和连续血糖监测数据的数字健康案例中,该框架均展现出优异的预测性能。

  8. arXiv stat.ML31

    控制预测不确定性的计算机模型校准方法

    研究者提出一种直接控制预测失准率的双层校准框架,以解决计算机模型校准中传统方法无法有效控制预测误差的问题。该框架首先通过条件流匹配学习校准参数的摊销后验,再利用保形风险控制构建具有有限样本预测覆盖保证的区间带。合成基准测试显示其区间宽度仅为 KOH-MCMC 的约 20%,且失准率贴近 10% 目标;在 2010 年马拉维麻疹疫情的 SEIR 模型校准中也展现出更紧凑且接近标称水平的覆盖表现。

  9. arXiv stat.ML25

    谱算法随机投影:Sobolev 范数下的最优学习率

    新研究针对基于随机投影(RP)的谱算法建立了 Sobolev 范数下的最优学习率,在一般条件下匹配了极小极大下界且不牺牲统计效率。针对随机草图(randomized sketches)与 Nyström 子采样,证明达到最优所需的投影维度与有效维度成正比,显著降低了计算与存储成本。该结论摆脱了回归函数一致有界性假设并适用于更广泛的源条件。

  10. arXiv stat.ML31

    连续深度深度高斯过程

    研究人员提出了连续深度深度高斯过程(Continuous-depth DGP),将隐层表示建模为由配备高斯过程先验的随机微分方程驱动的连续演化。该研究探讨了直接引入状态-深度漂移先验的 CDGP,以及训练成本更低且能捕获更丰富深度依赖的流演化先验 FlowDGP。合成数据、基准测试及大规模回归任务实验表明,CDGP 和 FlowDGP 在多种场景下均优于普通 DGP 和残差 DGP。

  11. arXiv stat.ML31

    xVGAE:面向可交换图的分层变分图自编码器

    研究人员提出分层变分图自编码器 xVGAE,在保持与 SOTA 模型相当生成质量的同时,将图生成速度提升数个数量级。该架构基于 Aldous-Hoover 定理,通过学习图级与节点级潜变量及对应的 graphon 函数对可交换图建模。xVGAE 支持快速单次(one-shot)生成紧密匹配训练集关键统计特征的新图。

  12. arXiv stat.ML34

    用于非平稳注意力的流式谱核学习

    研究人员提出基于流的谱核注意力(FSKA)框架,通过归一化流参数化二元谱密度来学习表达力更强的非平稳核,并保持线性注意力计算的扩展性。得益于表达力提升,FSKA 移除了查询与键的投影并固定正交值投影,相比多数基线将投影相关的可训练参数量减少约 40%–47%。分类、消融和可扩展性实验显示,FSKA 达到与现有注意力机制相当或更优的性能,并保持有利的线性内存扩展。

  13. arXiv stat.ML39

    从嘈杂多样的数据源中获取高价值训练数据

    研究人员提出一种可扩展的训练数据加权方法,利用少量高质量目标数据集与训练过程中的元梯度,直接优化训练样本权重以提升目标领域表现。该方法通过学习参数化加权规则泛化至流式样本,并支持从小模型向更大模型迁移。在奖励建模实验中,学习到的数据权重自适应特定领域,并使人类与合成监督混合数据的表现超越单一数据源。

  14. arXiv stat.ML33

    基于广义矩匹配的差分隐私合成数据

    研究者提出广义矩匹配框架,通过私有化估计矩、拟合概率测度并采样记录,生成满足 $(\varepsilon,\delta)$-差分隐私的合成数据。该方法适用于 1-Wasserstein 距离、含 Matern 与 Laplace 核的 MMD 及范数有界 ReLU 网络导出的积分概率度量。在合成记录足够时,其误差速率在固定维度下达到了极小化极大最优。

  15. arXiv stat.ML34

    持续 SFT 中受限更新为何仍会遗忘:基于函数路径的分析

    研究提出函数路径分析方法,将持续 SFT 中旧损失变化分解为受控方向、梯度陈旧度、探针失配与有限步效应,解释了受限更新为何仍会导致遗忘。QLoRA 干预实验表明,约束放置在 Adam 优化器前后显著影响保留效果,且最终分数掩盖了训练中的损失暴露。在序列任务中,监督回放比产生任务权衡的子空间正则化能更一致地保护历史任务。

  16. arXiv cs.LG33

    MA-UITD:用于表征连续社交行为的离线多智能体奖励推断

    研究提出离线多智能体奖励推断方法 MA-UITD,无需已知环境动力学或内层策略优化循环,即可从连续状态联合演示中推断智能体特定的显式奖励。该方法结合信念条件后继特征与逆时序差分一致性,支持离散及有界连续动作空间。其在模拟合作与竞争任务中表现超越基线,并成功从社交觅食轨迹中解析出领导者与跟随者的差异化奖励结构。

  17. arXiv cs.LG30

    用于多阶段制造质量预测的时延引导注意力机制

    研究人员提出用于多阶段制造质量预测的时延引导注意力机制 DAMF,通过显式估计阶段间时延分布来引导跨阶段信息传递。该方法利用发生-幅度分解独立估计正时延概率与条件幅度,并将软分布作为时序先验注入可微跨阶段注意力中,推理时无需工厂指定时延。实验显示 DAMF 在真实数据集 LiquidSugar 及两个受控时延基准上均提升了最终质量预测性能。

  18. arXiv cs.LG37

    PerSPL:个性化半监督偏好学习

    个性化半监督偏好学习框架 PerSPL 通过 pair-mean score centering 稳定跨 prompt 评分坐标,迭代将无标签回复转化为用户特定的训练信号。在 PersonalLLM、HelpSteer2、Reddit TLDR 和 Chatbot Arena 四个基准上对比 7 种代表性 baseline,PerSPL 在已见过和未见过的用户上均取得了最高平均准确率。

  19. arXiv cs.LG33

    截断袋外概率增益(TOP-Gain):面向随机森林 Wrapper 特征选择的抗噪评估准则

    研究者提出随机森林 Wrapper 特征选择抗噪准则 TOP-Gain,通过将候选特征引起的真实类别袋外概率下降截断为零,消除约三分之二的噪声方差。在 26 个 OpenML-CC18 数据集的基准测试中,TOP-Gain 在 ROC-AUC、准确率和 Macro-F1 上取得 15 种方法中的最佳平均排名,单核计算量比 VSURF 减少 21 倍且精度相当。

  20. arXiv cs.LG36

    条件流模型将认知不确定性转化为表观偶然方差

    研究发现条件流模型(CFM)在回归等任务中生成的样本方差常大于真实条件分布,会将拟合真实分布时的认知不确定性转化为表观偶然方差。受控实验表明,该诱导方差能够反映模型对复杂目标的欠拟合程度,并随额外训练或数据增加而下降。研究还给出了理论解释,并展示了其在构建高覆盖率回归预测集中的实际应用。

  21. arXiv cs.LG44

    通过表征工程缓解真实场景中的奖励作弊

    一项新研究提出利用表征工程动态干预潜在表征,在工具调用和长上下文等真实场景中低成本、显著缓解了模型的奖励作弊问题。该方法结合均值差、梯度优化与参考规范提取引导向量,相比均匀向量相加扰动更小,且不明显损害模型连贯性与能力。此外,在编程环境中提取的引导向量还能跨领域泛化,为生产系统的隐空间监控与控制提供了新路径。

  22. arXiv cs.LG28

    MHeatmap:用于矩形矩阵可视化的两步拉普拉斯重排与马赛克布局

    研究人员提出矩阵可视化方法 MHeatmap,通过两步谱排序与马赛克布局解决传统热图排序混乱及无法体现行列总和差异的问题。该方法引入二步游走拉普拉斯图排序,结合行高与列宽按总量比例划分的马赛克瓦片布局,并支持稀疏计算。在 300 个合成矩阵与 7 个真实数据集测试中,两步游走在全部 15 种合成场景取得最低归一化 2-SUM,并在 14 种场景取得最高 Band@10%。

  23. arXiv cs.LG34

    物理参数偏移下的因果世界模型研究

    研究人员针对物理条件超出训练分布时预测精度下降的问题,提出了结合因果建模与显式动力学机制的世界模型。在机器人 CausalWorld 连杆质量外推测试中,该模型将超范围质量转化为稳定预测增益,150 步推演的中位数关节 R2 从 0.609 提升至 0.727。在 100 步预测中,学得力矩模型的表现达到中位数 R2 0.755-0.768,可匹敌最强的循环机器人世界模型。

  24. arXiv cs.LG35

    面向基于流的离线强化学习的价值校正蒸馏(VRD)

    研究者提出价值校正蒸馏(VRD)框架,解决了离线强化学习中蒸馏流匹配行为策略导致的分布外(OOD)模态平均问题。VRD 将策略蒸馏重构为价值引导的生成轨迹对齐,并具体实现为 VRD-Q 与 VRD-R 两种互补算法来隔离高价值动作。在 D4RL、OGBench 和 Minari 基准测试中,该方法在多模态及非专家数据集上的表现显著超越现有生成式基线。

  25. arXiv cs.LG33

    选择性预测中的选择代价分析

    该研究量化了选择性预测中验证“风险-覆盖率”契约的样本代价。针对 K 个分数区间的规则菜单,在覆盖率底线 $\kappa$ 和间隙 $\gamma$ 下,极小化极大样本规模在小间隙、大菜单条件下达到 $K(1-\kappa)/(\kappa\gamma^2)$(忽略对数因子),精确交并测试(IUT)可达到该速率。

  26. arXiv cs.LG34

    面向无监督时间序列异常检测的多教师评分原则蒸馏

    研究人员提出无监督时间序列异常检测方法 AnoMix,通过 CoRank 多教师排序蒸馏目标将异构冻结教师模型的评分转化为成对弱监督,蒸馏至参数量低于 80k 的轻量学生模型中。在 7 个基准数据集上,该方法表现超越了单个检测器与静态评分集成。其零样本变体还可迁移至未见数据集,性能优于大型预训练时间序列基础模型。

  27. arXiv cs.LG34

    隐藏学习结构的动力学研究

    研究人员提出了纤维调节理论(FRT)与纤维获取理论(FAT),用于刻画模型隐藏学习结构中的受保护功能修复及可训练结构更新动力学。在 Qwen2.5-32B 结合 AdamW、经验回放与输出知识蒸馏的实验中,受保护 head 修复与固定容量 LoRA 更新的协同策略在全部四项对比中均取得了高于单一策略的 teacher-forced Exact 表现。

  28. arXiv cs.LG29

    ART-MPG:基于自回归反射/透射的流形路径引导

    研究者提出紧凑神经模型 ART-MPG,用于采样链长度、自回归反射/透射(R/T)字符串以及来自拓扑条件四分量 vMF 混合的方向。该方法将流形路径引导(MPG)中的重试采样同时基于链长度与 R/T 字符串进行条件化,在保持理想期望的同时降低了预期重试次数和估计器方差。在 14 个场景的不同每像素采样数(SPP)评估中,其在同等 SPP 下的均方误差和跨运行标准差均持续低于现有在线与离线基线。

  29. arXiv cs.LG27

    门控初始化对比循环 Dropout 与 Zoneout 学习长程依赖:LSTM 与 GRU 网络的受控研究

    一项涵盖 720 次训练的对照研究表明,chrono 门控初始化在长程依赖合成任务上显著优于循环 Dropout 和 Zoneout 正则化。在常规初始化难以收敛的序列长度下,全部 360 次 chrono 初始化训练均在 5000 次更新内达标,即使时间跨度设定偏差约 4 倍仍有 119/120 次成功。相比之下,常规初始化下 Dropout 普遍拖慢学习,Zoneout 仅在部分条件下有效。

  30. arXiv cs.LG43

    更优策略反致验证器审计恶化:策略内审计崩溃机制与修复

    研究表明,在后训练与测试时计算循环中,随着策略性能提升,针对整体成功标签审计组件验证器会导致“策略内审计崩溃”,使审计可能选出更差的验证器。该失效机制会降低策略外 $F$-AUC,将损害转移至未见过的生成器并增加下游约束违规。研究提出了受控混合审计修复方案,通过在评估与更新分布中保留验证器自身失败样本来消除这一问题。

  31. arXiv cs.LG33

    用于稳定状态分布的基于相异度马尔可夫决策过程

    研究者提出了基于相异度马尔可夫决策过程(DMDP)理论框架,通过使策略作用于当前状态分布并以目标分布的相异度为优化目标,实现状态分布的渐近稳定。该框架引入了分布的有限维表示,推导了稳定性保证条件,并量化了学习和估计误差对稳定性的影响。实践中,研究者将分布估计与目标相关奖励结合至 PPO 和 SAC 算法,在 HalfCheetah 任务上验证了调节速度分布的有效性。

  32. arXiv cs.LG32

    用于不可压缩流动的局部稀疏核算子学习:一种算子拉格朗日表述

    研究人员提出一种用于学习不可压缩流解算子的局部稀疏核方法,通过在 GPU 上并行求解的局部无散插值替代全局输出重构,并利用紧支核实现稀疏算子回归。结合算子拉格朗日权重的模型在新输入下仅需一次稀疏求解,在受迫各向同性湍流任务中使误差降低超过一个数量级。在 10 个流体基准测试中,该稀疏模型精度不低于早期的稠密方法,且优于神经算子。

  33. arXiv cs.LG41

    从频域视角反思时间序列 Tokenization

    针对现有时间序列分词策略易引入频谱失真并损害表征的问题,新提出的频域分词器 TimeFT 实现了近乎无失真的时序建模。该方法通过频域划分、频移和奈奎斯特采样生成 token,具备无参数、计算复杂度极低的特性,可作为现有分词器的即插即用替代方案。实验表明,TimeFT 在预测、分类和异常检测等任务中均能显著提升模型性能。

  34. arXiv cs.LG35

    基于杜布变换的生成策略优化框架 DoobPO

    研究者提出了 DoobPO 框架,利用杜布 h 变换实现生成策略的免似然强化学习微调。该方法先学习轻量比率模型表征策略更新,再通过条件漂移匹配将其蒸馏至生成策略中,统一适用于扩散模型与流模型策略,并兼容 PPO 和 GRPO 等规则。在 MuJoCo 连续控制基准测试中,DoobPO 相比竞争性扩散与流策略基线展现出强劲性能。

  35. arXiv cs.LG34

    SSMCGM-Stream:用于个性化糖尿病管理的流式状态空间模型

    SSMCGM-Stream 是一种流式状态空间模型,通过随血糖读数更新隐状态实现常数时间预测、生理结构反事实推理与可解释预测。基于该模型构建的 SSMCGM-Agent 可通过大语言模型接口输出风险感知的自然语言决策建议。在 T1DEXI 队列评测中,其预测性能匹敌强神经网络基线且大幅降低计算成本,支持设备端连续运行。

  36. arXiv cs.LG35

    正交化如何适应神经网络 Hessian 结构?基于初始化的梯度自外积分析

    新理论针对 Muon 优化器在神经网络中优于 AdamW 的机制,从初始化阶段揭示权重矩阵的过度参数化会驱动动量外积呈现对角占优,从而使隐式预条件器适配 Hessian 的行块结构。研究在对称矩阵分解、深度线性网络、双层 ReLU 网络与单层线性注意力四种模型中推导出显式增长速率,并通过语言模型实验验证了该缩放规律。

  37. arXiv cs.LG34

    从气象到增强风化:用于业务级碳去除的气象基础模型研究

    研究人员通过留一地块协议在美巴两国 264 个地块的 5,192 条时间序列上评测了 5 个气象基础模型用于增强岩石风化(ERW)碳去除量化的表现。基于 Aurora 1.5 构建的最佳模型 TerraNova-ERW 展现了跨领域表征迁移能力,在每地块仅需 2 个样本的少样本预测下可检出超 60% 的最高去除量地块。