跳到正文

#arXiv

今日 0 条
10月16日周五
  1. arXiv stat.ML37

    条件均值流:面向基于模拟推断的少步密度估计

    研究人员提出用于后验与似然估计的条件均值流(conditional mean flows),将少步采样与易计算的密度评估相结合。该方法通过独立掩码直接估计边际似然,在保持基于流的密度估计器灵活性的同时大幅缩短推理时间。实验显示,单步条件均值流密度评估的误差与 200 步 flow matching 相当,并使下游 MCMC 采样提速约 200 倍。

  2. arXiv stat.ML36

    Muon 何时最优?径向脆弱性与 Minimax 几何

    研究探讨了神经网络训练优化器 Muon 采用近似极因子更新的最优性条件及其曲率解释的稳定性。研究者引入随机半径各向同性曲率模型(RR-ICM),证明平均曲率解释存在径向脆弱性,无原子径向分布会导致零容量刚性。为此提出的 Minimax RR-ICM 表明,在球面概率分布的最坏情况下,非零全局极小值严格落在梯度的极射线上,为 Muon 的极方向提供了极小化极大变分表征。

  3. arXiv stat.ML32

    零样本条件离散扩散中的 Score 不匹配与集合约束采样

    该研究针对零样本条件离散扩散生成提出了首个 score 不匹配理论分析,推导出通用的 KL 散度上界以量化不匹配带来的偏差。分析涵盖文本填空、句子补全等逐坐标集合约束,证明经典 Conditional SEDD 采样器的偏差会随维度、词表大小和兼容性缩放。研究据此提出 Randomized Hard Clamping(RHC)采样器,数值与真实数据实验验证了其有效性。

  4. arXiv stat.ML30

    本地差分隐私下单变量密度的不可知高效学习

    研究人员提出了一个在非交互式本地差分隐私(LDP)下学习分段多项式可逼近结构化单变量分布的通用框架。该方法首次为对数凹分布混合(如高斯混合模型 GMM)等分布族提供了样本高效、计算高效且具备不可知(agnostic)保证的学习算法。此外,该工作还证明了 LDP 下学习 GMM 的更优下界,并开发了大域合成数据生成的高效算法。

  5. arXiv stat.ML35

    高斯变分推理中的加速机制及其局限性研究

    研究探讨了经典动量加速能否将强对数凹、对数平滑目标分布的高斯变分推理(GVI)条件数依赖从 $\kappa$ 优化至 $\sqrt{\kappa}$。在精确高斯期望下,GVI 的凸复合形式可实现经典的 $\sqrt{\kappa}$ 加速收敛率;但在仅有逐点导数时,任何随机算法均需 $\kappa^{1-o(1)}$ 次查询。

  6. arXiv stat.ML27

    面向群体特定扩散模型的两阶段 Score 估计方法

    研究者提出了一个用于扩散迁移的统计框架,通过结合共享的汇总 score 与目标特定偏移量来建模相关分布。该理论推导了收敛速率并分离出两部分的学习成本,证明了在扩散时间趋近于零时偏移量保持有界且具备联合正则性,从而为扩散模型作为密度估计器提供了总变差保证。合成模拟和图像基准测试为该框架提供了概念验证。

  7. arXiv stat.ML30

    径流极端值下集成离散度失效研究:排序正确但规模低估

    研究发现用于径流预测的深度学习模型(如 LSTM)在极端流量下存在严重的集成离散度不足,预测误差在常态下是修正离散度的约 2x,在最高流量下可达 4x,超出训练记录的极端观测中差距甚至达 18x。尽管其不确定性排序指标 AUSE 接近完美(0.071),但仅按预测流量排序也能达到类似效果。这种排序有效性掩盖了规模低估,导致模型在关键极端事件中系统性低估风险。

  8. arXiv stat.ML32

    随机梯度下降(SGD):非线性时间序列视角

    研究者从迭代随机函数框架出发,探讨了常数步长随机梯度下降(SGD)的统计学性质。通过证明 SGD 的几何矩收缩(GMC),该研究直接在欧几里得距离下建立了收敛性,并证明了平均 SGD(ASGD)在任意初始化下的淬火中心极限定理与 $\alpha$-稳定收敛。此外,研究还利用多步长增强 Richardson-Romberg 外推法降低估计偏差,并提出了新的在线推理方法。

  9. arXiv stat.ML27

    时间分割高斯过程混合模型(TPGPMM)

    研究者提出了时间分割高斯过程混合模型(TPGPMM),这是一种用于识别时间序列中持续状态并建模非平稳依赖关系的贝叶斯非参数框架。该模型将连续分段上的自适应 Pitman-Yor 先验与特定状态的高斯过程结合,并通过 split-merge Metropolis-within-Gibbs 采样器联合学习变点与超参数。

  10. arXiv stat.ML42

    完备或稀疏:神经网络表征可识别性的双重视角

    针对神经网络何时能恢复真实潜在变量的可解释性难题,NeurIPS 2026 论文从因果方向提出了生成与判别两种设定下的可识别性理论证明。在生成设定中,非负激活与能量效率约束可促使单个神经元精准编码单一潜在变量;在判别设定中,结合稀疏性与压缩感知结构,稀疏字典学习能实现欠完备非线性 ICA 的可识别性。该理论预测已在合成基准以及视觉模型、大语言模型和猕猴下颞叶皮层的激活数据上完成验证。

  11. arXiv stat.ML35

    流映射训练的稳定性与收敛性研究

    该研究为流映射(Flow Map)训练中停止梯度算子和自适应加权等经验技巧提供了理论解释。通过分析 MeanFlow 与 Lagrangian 损失诱导的泛函梯度流,研究证实了其收敛到真实流映射的有效性,并指出有限步更新可能无界的问题。结合自适应归一化与特定重加权方案可确保有界更新及邻域收敛,合成数据与图像实验均验证了该训练动态分析。

  12. arXiv stat.ML32

    图可加性模型解耦特征、拓扑与交互:AMIGA 架构

    研究人员提出图可加性模型 AMIGA,通过挖掘的主题词表表征拓扑结构,并将节点贡献解耦为特征、结构及特征-结构交互三个加性通道。在 10 个图分类与回归基准测试中,AMIGA 在多数数据集上超越了 GNAN,并缩小了与标准黑盒 GNN 的性能差距。模型各通道围绕图平衡基线中心化,可生成精确重构模型输出的多粒度节点局部解释。

  13. arXiv stat.ML25

    列表可复现性的多对数上界简短证明

    研究人员针对包含 $N\ge 2$ 个域点上 $M\ge 2$ 个二元概念类的列表可复现数,给出了一个简短且自洽的证明。该研究证实了其多对数上界为 $O(\log^2 M\log N)$,沿用了此前 Zhang 提出的总体思路,但采用了更为简化的论证过程。

  14. arXiv quant-ph32

    基于强化学习的固态量子比特量子控制

    研究人员通过仿真分析了无模型强化学习在自旋浴中 NV 核自旋间接控制等复杂场景下的性能,用于态制备与量子比特门设计。该研究利用广义团簇关联展开对包含磁性杂质及浴内相互作用的自旋浴建模,并在最小可观测环境以及含噪、稀疏奖励条件下测试了 RL 智能体,同时将其与其他前沿黑盒优化工具进行了对比。

  15. arXiv quant-ph24

    用于紧急优先交通信号控制的量子-经典混合优化研究

    研究人员针对紧急车辆优先的交通信号控制提出有限时域 QUBO 表述,并在三交叉口走廊中对比了精确 QUBO 优化、QAOA、CVaR-QAOA、量子机器学习策略、定时控制与最大压力控制。基于优化的控制器在三种交通需求机制下均实现了可靠的紧急通行,而增大紧急优先权重会缩减紧急通行时间但加剧整体拥堵。CVaR-QAOA 比标准 QAOA 更精确地复现了精确 QUBO 解,但闭环交通表现的差异相对较小。

  16. arXiv quant-ph29

    相同频域不同训练难度:单量子比特与多量子比特重上传线路中的锁相现象

    单量子比特串行重上传线路虽然与同编码预算的多量子比特线路具有相同函数表达能力,但由于存在状态仅沿单一复方向移动的“锁相”现象,导致其一阶训练难度显著增加。在编码预算 $E=32$ 的平坦谱测试中,串行线路在梯度下降、Adam 和 Levenberg-Marquardt 下的收敛成功率仅为 3%、53% 和 83%,远低于双量子比特对照组的 99%、100% 和 100%。

  17. arXiv quant-ph26

    通过学习 SNAP 门的稀疏结构降低 qudit 态制备成本

    研究人员提出一种通过可微掩码同时学习所需相位及其数值的方法,以降低玻色 qudit 中 SNAP-Displacement 序列制备量子态的控制成本。该方案利用稀疏惩罚移除不必要的相位,并通过温度退火将掩码转化为二值决策。在傅里叶态与 Haar 随机目标态上的测试表明,该方法在保真度与所需相位数量的权衡上达到了具竞争力甚至更优的表现。

  18. arXiv quant-ph34

    基于 AI 智能体辅助的跨量子处理器实验策略迁移

    研究人员提出一种基于 AI 智能体辅助的实验策略,成功在一台 3 量子比特核磁共振处理器上开发并迁移至另外四台设备。AI 智能体负责评估实验证据、选择后续测量并调整流程,结合设备专属校准、控制脉冲优化与测量完成 Grover 态制备任务。测试中重构主特征态的目标态布局数达 0.910 至 0.959,相对理想值 0.945 的偏差低于 3.8%。

  19. arXiv cs.LG37

    稀疏自编码器中的表征再分配研究

    研究人员提出了再分配敏感度评分(RSS),用于识别稀疏自编码器(SAE)中跨提示词变换持续同向出现的大幅特征响应。在涵盖8个大语言模型的27个预训练SAE评估中,该测试展现出可复现的表征再分配轮廓。在两个冻结的安全读出实验中,结合中位数仅20和19个特征的RSS支持集侵蚀,分别取得了0.935和0.958的复发故障AUROC。

  20. arXiv cs.LG36

    兼容性至关重要:在线策略蒸馏中的 token 级教师选择框架

    研究者提出了一个在线策略蒸馏(OPD)中的 token 级教师选择框架,通过在 rollout 期间动态路由教师来兼顾推理模式兼容性、教师能力与学生多样性。理论分析证明了不同教师路由方案在不同场景下对优化和多样性的优势。在数学、编程、内核生成和视觉推理等领域的实验表明,该方法在特定任务上的 pass@k 相比原生 OPD 及专家教师提升超过 10 个百分点。

  21. arXiv cs.LG34

    大语言模型更新匹配遗忘学习方法 UMU:兼顾抗重新学习与模型可塑性

    研究人员提出大语言模型更新匹配遗忘学习方法 UMU,通过在防御模型与未防御参考模型上同步应用模拟重新学习更新,并在模型选择中引入新任务学习指标。在 TOFU 与 FaithUn 基准上针对 Llama 和 Qwen 模型的实验表明,UMU 使有害和良性重新学习平均分别降低 30.4 和 9.9 个点,同时将新任务准确率提升 3.5 个点。

  22. arXiv cs.LG33

    基于拉格朗日-欧拉图神经常微分方程的多尺度时空流行病动态学习与预测

    研究人员提出 LE-EpiGNODE 框架,利用基于机制引导的神经算子替代通用消息传递,以分别建模拉格朗日感染生成与欧拉人群流动输运。在 14 种受控合成机制、3 个 COVID-19 场景及与 21 个基准模型的对比评估中,该模型在最长预测周期下的 3 个真实数据集中均取得最低 WMAPE,误差相比最佳基准降低了 17.7-40.0%。

  23. arXiv cs.LG35

    仅保留最难样本训练的理论优势:数据剪枝可达贝叶斯最优收敛率

    新研究提出了加权经验风险最小化(ERM)下数据剪枝的高维学习理论,证明战略性剪枝可将分类测试误差衰减率从传统非指数尾部损失的 sqrt(N/P) 加速至贝叶斯最优的 N/P。该理论在样本量 P 远大于输入维度 N 的场景下表明,仅保留最难的 2N 个训练样本并丢弃其余大部分数据,即可实现上述最优性能。同时,该框架还刻画了剪枝策略与损失函数及标签噪声的相互作用。

  24. arXiv cs.LG46

    蛋白质设计系统在预训练与检索阶段的语料库投毒研究

    新研究展示了针对蛋白质设计系统预训练与检索语料的纯数据投毒攻击,证实极少量恶意序列即可隐蔽操纵生成结果。在 300 million 参数的 ProtGPT2 与 ProGen2 预训练中,递增投毒仅需 200 个污染样本即可激活后门。针对检索系统的单条恶意记录可在 97% 的自由文本请求中抢占 top-16,并导致 62% 的请求生成篡改序列。

  25. arXiv cs.LG35

    通过免训练权重编辑抵抗有害指令

    研究提出一种免训练权重编辑方法,仅需在少量提示词对上执行前向传播,即可直接修改模型权重以降低对有害指令的遵从度。在 5 个指令微调模型上的测试显示,该方法在两个蓄意说谎基准上使平均诚实回答率较最强替代方案分别提升 6.2 和 4.6 个百分点;针对性别偏见指令,它将平均偏见回答率从 57.9% 降至 24.3%,结合公平提示词可进一步降至 11.9%。

  26. arXiv cs.LG27

    重型柴油车燃油与排放监测中的传感器故障诊断

    研究人员提出了利用健康工况关系进行传感器故障诊断与燃油读数校正的方案,以解决重型柴油车燃油消耗及二氧化碳排放估算失真问题。在涵盖 217 个稳态工况点的 31,500 个故障注入组测试中,该方法对 77.3% 的组发出诊断,准确率达 92.1%。在设定的 1 小时场景中,选定燃油校正将燃烧二氧化碳计算的平均绝对误差降低了 83.8%。

  27. arXiv cs.LG43

    大语言模型在工作记忆中存在读出瓶颈

    研究发现大语言模型在 N-back 工作记忆任务中的性能瓶颈在于受干扰下的内容读出而非定位。研究团队测试了 3 个模型家族的 15 个预训练 LLM(70M 至 14B 参数)及从头训练的极小 Transformer,发现线性探测能近乎完美区分目标与诱饵位置,注意力头大多已准确关注目标。抑制非目标项目的干扰可显著提升敏感度(d'),且模型规模越大改善越明显。

  28. arXiv cs.LG38

    少步生成模型的噪声空间奖励对齐

    针对少步生成模型的对齐难题,新研究提出噪声策略优化(NPO),通过在初始噪声空间学习均摊流策略并冻结生成器实现奖励对齐。该方法结合基于 ELBO 的似然估计提升训练效率,推理时仅需轻量噪声采样。在图像、语言和蛋白质结构生成中,NPO 性能优于直接微调,且推理成本比测试时搜索方法降低 16 到 549 倍。

  29. arXiv cs.LG29

    用于时间序列预测的分解时空网络 DST-Net

    研究者提出了用于时间序列预测的分解时空网络 DST-Net,针对时间序列的不同分解分量定制专用建模策略。该架构在趋势分支设计了 Latent Graph Block,利用潜在图建模捕获全局拓扑依赖与系统级联动;在季节分支引入高斯多尺度注意力机制,通过注入可学习的高斯先验聚焦多粒度局部上下文并过滤全局噪声。

  30. arXiv cs.LG35

    SIEVE:克服等变自监督学习中的拓扑阻碍

    研究人员提出了 SE(3) 等变自监督学习框架 SIEVE,以解决 3D 点云掩码自编码中标准掩码导致的拓扑崩溃问题。该方法核心采用球面投影掩码(spherical projection mask),在混淆局部语义的同时保留全局姿态,将点云几何压缩为不变标量嵌入向量。实验表明,所得嵌入在下游点云任务中优于基于坐标的基线与手工几何描述符,并在未见形状类别的泛化上取得最大增益。