跳到正文

#论文/研究

今日 66 条
10月23日周五
  1. arXiv stat.ML31

    xVGAE:面向可交换图的分层变分图自编码器

    研究人员提出分层变分图自编码器 xVGAE,在保持与 SOTA 模型相当生成质量的同时,将图生成速度提升数个数量级。该架构基于 Aldous-Hoover 定理,通过学习图级与节点级潜变量及对应的 graphon 函数对可交换图建模。xVGAE 支持快速单次(one-shot)生成紧密匹配训练集关键统计特征的新图。

  2. arXiv stat.ML34

    用于非平稳注意力的流式谱核学习

    研究人员提出基于流的谱核注意力(FSKA)框架,通过归一化流参数化二元谱密度来学习表达力更强的非平稳核,并保持线性注意力计算的扩展性。得益于表达力提升,FSKA 移除了查询与键的投影并固定正交值投影,相比多数基线将投影相关的可训练参数量减少约 40%–47%。分类、消融和可扩展性实验显示,FSKA 达到与现有注意力机制相当或更优的性能,并保持有利的线性内存扩展。

  3. arXiv stat.ML39

    从嘈杂多样的数据源中获取高价值训练数据

    研究人员提出一种可扩展的训练数据加权方法,利用少量高质量目标数据集与训练过程中的元梯度,直接优化训练样本权重以提升目标领域表现。该方法通过学习参数化加权规则泛化至流式样本,并支持从小模型向更大模型迁移。在奖励建模实验中,学习到的数据权重自适应特定领域,并使人类与合成监督混合数据的表现超越单一数据源。

  4. arXiv stat.ML33

    基于广义矩匹配的差分隐私合成数据

    研究者提出广义矩匹配框架,通过私有化估计矩、拟合概率测度并采样记录,生成满足 $(\varepsilon,\delta)$-差分隐私的合成数据。该方法适用于 1-Wasserstein 距离、含 Matern 与 Laplace 核的 MMD 及范数有界 ReLU 网络导出的积分概率度量。在合成记录足够时,其误差速率在固定维度下达到了极小化极大最优。

  5. arXiv stat.ML34

    持续 SFT 中受限更新为何仍会遗忘:基于函数路径的分析

    研究提出函数路径分析方法,将持续 SFT 中旧损失变化分解为受控方向、梯度陈旧度、探针失配与有限步效应,解释了受限更新为何仍会导致遗忘。QLoRA 干预实验表明,约束放置在 Adam 优化器前后显著影响保留效果,且最终分数掩盖了训练中的损失暴露。在序列任务中,监督回放比产生任务权衡的子空间正则化能更一致地保护历史任务。

  6. arXiv cs.LG33

    MA-UITD:用于表征连续社交行为的离线多智能体奖励推断

    研究提出离线多智能体奖励推断方法 MA-UITD,无需已知环境动力学或内层策略优化循环,即可从连续状态联合演示中推断智能体特定的显式奖励。该方法结合信念条件后继特征与逆时序差分一致性,支持离散及有界连续动作空间。其在模拟合作与竞争任务中表现超越基线,并成功从社交觅食轨迹中解析出领导者与跟随者的差异化奖励结构。

  7. arXiv cs.LG30

    用于多阶段制造质量预测的时延引导注意力机制

    研究人员提出用于多阶段制造质量预测的时延引导注意力机制 DAMF,通过显式估计阶段间时延分布来引导跨阶段信息传递。该方法利用发生-幅度分解独立估计正时延概率与条件幅度,并将软分布作为时序先验注入可微跨阶段注意力中,推理时无需工厂指定时延。实验显示 DAMF 在真实数据集 LiquidSugar 及两个受控时延基准上均提升了最终质量预测性能。

  8. arXiv cs.LG37

    PerSPL:个性化半监督偏好学习

    个性化半监督偏好学习框架 PerSPL 通过 pair-mean score centering 稳定跨 prompt 评分坐标,迭代将无标签回复转化为用户特定的训练信号。在 PersonalLLM、HelpSteer2、Reddit TLDR 和 Chatbot Arena 四个基准上对比 7 种代表性 baseline,PerSPL 在已见过和未见过的用户上均取得了最高平均准确率。

  9. arXiv cs.LG33

    截断袋外概率增益(TOP-Gain):面向随机森林 Wrapper 特征选择的抗噪评估准则

    研究者提出随机森林 Wrapper 特征选择抗噪准则 TOP-Gain,通过将候选特征引起的真实类别袋外概率下降截断为零,消除约三分之二的噪声方差。在 26 个 OpenML-CC18 数据集的基准测试中,TOP-Gain 在 ROC-AUC、准确率和 Macro-F1 上取得 15 种方法中的最佳平均排名,单核计算量比 VSURF 减少 21 倍且精度相当。

  10. arXiv cs.LG36

    条件流模型将认知不确定性转化为表观偶然方差

    研究发现条件流模型(CFM)在回归等任务中生成的样本方差常大于真实条件分布,会将拟合真实分布时的认知不确定性转化为表观偶然方差。受控实验表明,该诱导方差能够反映模型对复杂目标的欠拟合程度,并随额外训练或数据增加而下降。研究还给出了理论解释,并展示了其在构建高覆盖率回归预测集中的实际应用。

  11. arXiv cs.LG44

    通过表征工程缓解真实场景中的奖励作弊

    一项新研究提出利用表征工程动态干预潜在表征,在工具调用和长上下文等真实场景中低成本、显著缓解了模型的奖励作弊问题。该方法结合均值差、梯度优化与参考规范提取引导向量,相比均匀向量相加扰动更小,且不明显损害模型连贯性与能力。此外,在编程环境中提取的引导向量还能跨领域泛化,为生产系统的隐空间监控与控制提供了新路径。

  12. arXiv cs.LG28

    MHeatmap:用于矩形矩阵可视化的两步拉普拉斯重排与马赛克布局

    研究人员提出矩阵可视化方法 MHeatmap,通过两步谱排序与马赛克布局解决传统热图排序混乱及无法体现行列总和差异的问题。该方法引入二步游走拉普拉斯图排序,结合行高与列宽按总量比例划分的马赛克瓦片布局,并支持稀疏计算。在 300 个合成矩阵与 7 个真实数据集测试中,两步游走在全部 15 种合成场景取得最低归一化 2-SUM,并在 14 种场景取得最高 Band@10%。

  13. arXiv cs.LG34

    物理参数偏移下的因果世界模型研究

    研究人员针对物理条件超出训练分布时预测精度下降的问题,提出了结合因果建模与显式动力学机制的世界模型。在机器人 CausalWorld 连杆质量外推测试中,该模型将超范围质量转化为稳定预测增益,150 步推演的中位数关节 R2 从 0.609 提升至 0.727。在 100 步预测中,学得力矩模型的表现达到中位数 R2 0.755-0.768,可匹敌最强的循环机器人世界模型。

  14. arXiv cs.LG35

    面向基于流的离线强化学习的价值校正蒸馏(VRD)

    研究者提出价值校正蒸馏(VRD)框架,解决了离线强化学习中蒸馏流匹配行为策略导致的分布外(OOD)模态平均问题。VRD 将策略蒸馏重构为价值引导的生成轨迹对齐,并具体实现为 VRD-Q 与 VRD-R 两种互补算法来隔离高价值动作。在 D4RL、OGBench 和 Minari 基准测试中,该方法在多模态及非专家数据集上的表现显著超越现有生成式基线。

  15. arXiv cs.LG33

    选择性预测中的选择代价分析

    该研究量化了选择性预测中验证“风险-覆盖率”契约的样本代价。针对 K 个分数区间的规则菜单,在覆盖率底线 $\kappa$ 和间隙 $\gamma$ 下,极小化极大样本规模在小间隙、大菜单条件下达到 $K(1-\kappa)/(\kappa\gamma^2)$(忽略对数因子),精确交并测试(IUT)可达到该速率。

  16. arXiv cs.LG34

    面向无监督时间序列异常检测的多教师评分原则蒸馏

    研究人员提出无监督时间序列异常检测方法 AnoMix,通过 CoRank 多教师排序蒸馏目标将异构冻结教师模型的评分转化为成对弱监督,蒸馏至参数量低于 80k 的轻量学生模型中。在 7 个基准数据集上,该方法表现超越了单个检测器与静态评分集成。其零样本变体还可迁移至未见数据集,性能优于大型预训练时间序列基础模型。

  17. arXiv cs.LG34

    隐藏学习结构的动力学研究

    研究人员提出了纤维调节理论(FRT)与纤维获取理论(FAT),用于刻画模型隐藏学习结构中的受保护功能修复及可训练结构更新动力学。在 Qwen2.5-32B 结合 AdamW、经验回放与输出知识蒸馏的实验中,受保护 head 修复与固定容量 LoRA 更新的协同策略在全部四项对比中均取得了高于单一策略的 teacher-forced Exact 表现。

  18. arXiv cs.LG29

    ART-MPG:基于自回归反射/透射的流形路径引导

    研究者提出紧凑神经模型 ART-MPG,用于采样链长度、自回归反射/透射(R/T)字符串以及来自拓扑条件四分量 vMF 混合的方向。该方法将流形路径引导(MPG)中的重试采样同时基于链长度与 R/T 字符串进行条件化,在保持理想期望的同时降低了预期重试次数和估计器方差。在 14 个场景的不同每像素采样数(SPP)评估中,其在同等 SPP 下的均方误差和跨运行标准差均持续低于现有在线与离线基线。

  19. arXiv cs.LG27

    门控初始化对比循环 Dropout 与 Zoneout 学习长程依赖:LSTM 与 GRU 网络的受控研究

    一项涵盖 720 次训练的对照研究表明,chrono 门控初始化在长程依赖合成任务上显著优于循环 Dropout 和 Zoneout 正则化。在常规初始化难以收敛的序列长度下,全部 360 次 chrono 初始化训练均在 5000 次更新内达标,即使时间跨度设定偏差约 4 倍仍有 119/120 次成功。相比之下,常规初始化下 Dropout 普遍拖慢学习,Zoneout 仅在部分条件下有效。

  20. arXiv cs.LG43

    更优策略反致验证器审计恶化:策略内审计崩溃机制与修复

    研究表明,在后训练与测试时计算循环中,随着策略性能提升,针对整体成功标签审计组件验证器会导致“策略内审计崩溃”,使审计可能选出更差的验证器。该失效机制会降低策略外 $F$-AUC,将损害转移至未见过的生成器并增加下游约束违规。研究提出了受控混合审计修复方案,通过在评估与更新分布中保留验证器自身失败样本来消除这一问题。

  21. arXiv cs.LG33

    用于稳定状态分布的基于相异度马尔可夫决策过程

    研究者提出了基于相异度马尔可夫决策过程(DMDP)理论框架,通过使策略作用于当前状态分布并以目标分布的相异度为优化目标,实现状态分布的渐近稳定。该框架引入了分布的有限维表示,推导了稳定性保证条件,并量化了学习和估计误差对稳定性的影响。实践中,研究者将分布估计与目标相关奖励结合至 PPO 和 SAC 算法,在 HalfCheetah 任务上验证了调节速度分布的有效性。

  22. arXiv cs.LG32

    用于不可压缩流动的局部稀疏核算子学习:一种算子拉格朗日表述

    研究人员提出一种用于学习不可压缩流解算子的局部稀疏核方法,通过在 GPU 上并行求解的局部无散插值替代全局输出重构,并利用紧支核实现稀疏算子回归。结合算子拉格朗日权重的模型在新输入下仅需一次稀疏求解,在受迫各向同性湍流任务中使误差降低超过一个数量级。在 10 个流体基准测试中,该稀疏模型精度不低于早期的稠密方法,且优于神经算子。

  23. arXiv cs.LG41

    从频域视角反思时间序列 Tokenization

    针对现有时间序列分词策略易引入频谱失真并损害表征的问题,新提出的频域分词器 TimeFT 实现了近乎无失真的时序建模。该方法通过频域划分、频移和奈奎斯特采样生成 token,具备无参数、计算复杂度极低的特性,可作为现有分词器的即插即用替代方案。实验表明,TimeFT 在预测、分类和异常检测等任务中均能显著提升模型性能。

  24. arXiv cs.LG35

    基于杜布变换的生成策略优化框架 DoobPO

    研究者提出了 DoobPO 框架,利用杜布 h 变换实现生成策略的免似然强化学习微调。该方法先学习轻量比率模型表征策略更新,再通过条件漂移匹配将其蒸馏至生成策略中,统一适用于扩散模型与流模型策略,并兼容 PPO 和 GRPO 等规则。在 MuJoCo 连续控制基准测试中,DoobPO 相比竞争性扩散与流策略基线展现出强劲性能。

  25. arXiv cs.LG34

    SSMCGM-Stream:用于个性化糖尿病管理的流式状态空间模型

    SSMCGM-Stream 是一种流式状态空间模型,通过随血糖读数更新隐状态实现常数时间预测、生理结构反事实推理与可解释预测。基于该模型构建的 SSMCGM-Agent 可通过大语言模型接口输出风险感知的自然语言决策建议。在 T1DEXI 队列评测中,其预测性能匹敌强神经网络基线且大幅降低计算成本,支持设备端连续运行。

  26. arXiv cs.LG35

    正交化如何适应神经网络 Hessian 结构?基于初始化的梯度自外积分析

    新理论针对 Muon 优化器在神经网络中优于 AdamW 的机制,从初始化阶段揭示权重矩阵的过度参数化会驱动动量外积呈现对角占优,从而使隐式预条件器适配 Hessian 的行块结构。研究在对称矩阵分解、深度线性网络、双层 ReLU 网络与单层线性注意力四种模型中推导出显式增长速率,并通过语言模型实验验证了该缩放规律。

  27. arXiv cs.LG34

    从气象到增强风化:用于业务级碳去除的气象基础模型研究

    研究人员通过留一地块协议在美巴两国 264 个地块的 5,192 条时间序列上评测了 5 个气象基础模型用于增强岩石风化(ERW)碳去除量化的表现。基于 Aurora 1.5 构建的最佳模型 TerraNova-ERW 展现了跨领域表征迁移能力,在每地块仅需 2 个样本的少样本预测下可检出超 60% 的最高去除量地块。

  28. arXiv cs.LG26

    面向临床与可穿戴健康数据的单元感知差分隐私量子机器学习研究

    新研究评估了差分隐私量子机器学习(QML)在健康数据中的表现,量子模型在三个临床队列的平均 ROC AUC 较经典模型最高领先 0.104,但在可穿戴队列落后。24 项检验经 Holm 校正后未体现显著差异,结果更偏向趋势而非确定的量子优势。团队在 156 量子比特 IBM 处理器 ibm_fez 上完成了硬件推理验证,相关代码已开源。

  29. arXiv cs.LG34

    将 Transformer 视为通用深度神经网络:精确编译、移除激活乘积的代价与多智能体注意力聚类

    Transformer 模块可精确编译为由固定仿射映射、路由及 sigmoid 与逆平方根等算子构成的通用深度神经网络,摆脱了对 NPU 专用注意力算子的依赖。通过查询或智能体聚类,每个头计算的打分量可从 $N^2$ 降至 $Nk$。该方案在 DeiT-Tiny、MambaIRv2-Light 和 Pythia-70M 上与原模型表现一致,并可直接应用标准训练后量化。

  30. arXiv cs.LG28

    基于高维计算的在线开放世界晶圆缺陷发现框架 WaferHDC

    研究人员提出了基于高维计算(HDC)的在线开放世界晶圆缺陷发现框架 WaferHDC。该架构无需重新训练静态分类器或归档全部原始晶圆历史,能在无标签和无预定义类别数量的情况下,快速检测异常并将反复出现的故障聚类为紧凑的高维向量表示。在工业标准数据集 WM-811K 上,WaferHDC 的调整兰德指数(ARI)较最强在线基线提升 13.3 个百分点,标准化互信息(NMI)提升 10.5 个百分点。

  31. arXiv cs.LG45

    2:4 稀疏度还值得用吗?LLM 推理中半结构化稀疏与量化的对比研究

    研究表明在 LLM 推理中只要更低精度可用,降精度优于引入 2:4 稀疏度,后者精度更低且速度更慢。但当量化达到硬件支持的最低精度时,2:4 稀疏度仍能为线性层带来 1.3-1.7x 加速;在 H100 上经重训练的 2:4 模型通过 vLLM 以 FP8 运行,Prefill 吞吐量比稠密 FP8 高 27% 且 GSM8K 准确率持平。

  32. arXiv cs.LG34

    基于模块化扩散模型引导的多目标蛋白质优化框架 MODS

    研究人员提出了多目标蛋白质优化模块化框架 MODS,通过推理阶段的扩散模型引导来兼顾多种蛋白质适应度属性。该方法利用增强切比雪夫标量化权重和代理模型集成定义标量引导奖励,每轮评估后仅更新代理模型而无需重新训练生成模型。在 6 项蛋白质优化任务及 2 种扩散模型和 2 种引导流程的测试中,MODS 均取得了具有竞争力的最终超体积表现。

  33. arXiv cs.LG26

    面向稳定与可认证语言生成的查询反馈与教学

    新研究针对极限语言生成引入了“可认证性”(certifiability)概念,并建立了涵盖正确性、稳定性与可认证性三级标准的教学维度层级。该研究系统刻画了有无查询反馈下的生成能力,给出稳定生成的有限证据(finite-witness)特征刻画,填补了此前理论空白。此外,作者还在正则语言与擦除模式语言上对比了不同生成标准的教学样本需求。

  34. arXiv cs.LG27

    基于离散时间 Off-Policy 数据且具端到端保证的无模型连续时间强化学习算法

    研究提出无模型 PhiBE 策略迭代(PhiBE-PI)框架,利用固定的离散时间 off-policy 数据批次实现连续时间强化学习,且无需显式估计漂移或扩散项。该框架使用单一状态-动作 Critic 保持动作排序尺度,并在复用数据与线性函数近似下建立了局部端到端次优度理论保证。研究还揭示了偏差-方差权衡,表明更细的时间离散化并不必然提升策略性能。

  35. arXiv cs.LG29

    分布漂移下的极小化极大最优预测流匹配

    研究提出 DyProd-FM 算法,解决分布漂移环境下生成速度场须在当前数据到达前部署的预测流匹配问题。该算法在二进历史前缀上重新拟合流匹配并通过 sleeping Prod master 进行选择,无需预知漂移预算即可达到匹配下界的动态遗憾。理论证明其在相对速度风险变化与目标分布变化下均实现了极小化极大最优速率,且适用于非凸神经网络类别。

  36. arXiv cs.LG39

    通过知识重塑对抗持续领域自适应中的灾难性遗忘

    研究提出 Skill Schema Transport(SST)后训练框架,通过将新知识转译至模型已有技能空间实现程序复用,以解决持续领域自适应中的灾难性遗忘。在两个 3B 指令微调模型上,SST 将流式领域的平均最终性能提升 2.53 至 5.75 分。在 Qwen-3B MATH 流上,该方法将最大遗忘降幅从 42.41 分降至 7.10 分,并大幅恢复了 OOD 退化。