跳到正文

#arXiv

今日 0 条
10月27日周二
  1. arXiv cs.LG43

    Muon 何时及如何进行预处理?结构化梯度噪声的作用

    研究揭示了 Muon 优化器在大语言模型训练中的预处理机制,指出其加速优势源于非均匀采样下的结构化梯度噪声,而非传统各向同性噪声。理论表明 Muon 能将对任务频率的依赖从线性降至平方根,有效平衡高频与稀疏任务,并避免 SignSGD 的旋转诱导负迁移。受控数值实验与初步 LLM 预训练进一步展现了快慢动量(fast-slow momentum)的应用潜力。

  2. arXiv cs.LG33

    面向实时分区控制零样本协作的认知受限伙伴框架

    研究者提出一种面向实时分区控制零样本协作的训练框架,通过引入反应延迟和感知限制等人类生理约束来构建模拟伙伴,以训练人机协作智能体。在修改版 Lunar Lander 环境中,受训智能体的协作表现达到了最强 cross-play 基线水准,且性能不依赖于训练伙伴的具体生成方式。研究还设计了人类参与者实验,用于检验标准 cross-play 评估对真实人机协同效果的预测能力。

  3. arXiv cs.LG33

    基于大语言模型的微服务系统自回归多模态异常检测

    研究人员提出基于大语言模型(LLM)的微服务系统自回归多模态异常检测框架 LLMMAD,以解决跨模态融合忽视模态特性以及特征重构的捷径问题。该框架将多模态数据重组为统一序列交由 LLM 建模,配合模态重构头并采用预测未来状态的自回归目标。在 3 个真实数据集上的实验表明,LLMMAD 的 F1-score 分别提升 3.1%、1.4% 和 0.9%,全面优于现有 SOTA 方法。

  4. arXiv cs.LG35

    面向物理引导优化的端到端可微扩散条件方法 D2C

    研究团队提出面向离线基于模型优化的端到端可微扩散条件方法 D2C,将冻结的条件扩散模型转变为基于梯度的优化器。该方法利用确定性采样的可微逆向去噪链,在测试时直接反向传播代理目标与物理信息惩罚项的梯度来优化条件变量。在惯性约束聚变激光脉冲优化、数据中心调度两个真实任务及 4 个 Design-Bench 任务上,D2C 均取得最优综合表现。

  5. arXiv cs.LG33

    面向金融犯罪分析的对抗鲁棒多重图神经网络研究

    该研究提出了首个针对多重图神经网络的结构攻击与对抗训练框架,用于解决反洗钱模型易受交易结构恶意操纵的问题。该方法基于节点-边关联矩阵优化结构扰动,并引入有向 2-环和 3-环正则化项以约束攻击合理性。在真实反洗钱数据集上的实验表明,所提攻击显著降低了 PR-AUC 检测性能,而对抗训练则能有效提升模型的防御鲁棒性。

  6. arXiv cs.LG31

    LeWorldModel 是否保留了局部动作几何?

    预训练世界模型 LeWorldModel(LeWM)在微小动作变化下难以精确保留局部动作几何。在 Reacher 与 OGBench Cube 中,最小扰动尺度下模型与模拟器最敏感动作方向的中位数夹角分别相差约 36° 和 42°。扰动增加 10 倍后归一化 Gram 差异分别减少约 70% 和 47%,该结果支持按特定尺度评估动作敏感性。

  7. arXiv cs.LG23

    通往 NDE 4.0 之路:自主检测算法、技术与策略综述

    无损检测(NDI)正加速向数据驱动的 NDE 4.0 演进,缺陷自动识别技术正显著转向深度学习与生成模型。超声与外观检测仍是主导物理手段,但行业落地面临标准化开源数据集匮乏及 AI 模型黑盒特性的瓶颈。未来发展需聚焦可解释 AI(XAI)与标准化数字孪生协议,以实现检测数据在资产全生命周期管理中的智能融合。

  8. arXiv cs.LG28

    面向室内无线电地图估计的协作上下文学习

    研究人员提出 Poly-Ripple 框架,首次将室内无线电地图估计(RME)形式化为协作上下文学习(ICL)问题。该方案允许多个客户端利用大型自回归视觉模型(LAVM)且无需更新模型,结合私有示例提示、涟漪排序自回归建模与重要性感知聚合技术。在公开室内 RME 基准测试中,Poly-Ripple 的表现持续优于代表性 ICL 基线。

  9. arXiv stat.ML32

    基于仿真优化的语言模型预算受限提示词集扩展与精炼

    一项新研究提出基于仿真优化的两阶段框架,在有限评估预算下扩展并精炼语言模型的初始提示词集以最大化任务得分。该框架先将提示词扩展为中等维度向量表示的候选集,随后构建得分代理模型进行序列评估,并引入精炼流程在初始候选集外展开搜索。数值实验表明,在模型调用评估预算受限时,该方法比基准选择方法取得了更高的提示词得分。

  10. arXiv stat.ML34

    基于阴性对照与 Minimax 学习的未观测混杂因果推断方法

    针对存在未观测混杂且有阴性对照的因果参数估计,研究者提出了一种仅需假设桥函数存在而非完备性条件的替代识别策略。该方法基于 Minimax 学习构建了新估计器,能直接支持再生核希尔伯特空间(RKHS)与神经网络等通用函数类,并尽量避免对桥函数的唯一性要求。论文还在多种假设组合下提供了桥函数与最终因果参数估计的有限样本收敛保证。

  11. arXiv stat.ML31

    基于 e-closure 泛化一致改进共形风险控制

    研究提出名为 recertification 的通用范式,通过泛化 e-closure 原理利用有效性凭证中的松弛预算,一致改进了共形风险控制(CRC)的保守性。该方法在有限可交换分布下保持有效,在任意校准样本上均不比原 CRC 保守,并可拓展至提升随机化 e-BH 的错误发现率控制。CIFAR-100 分层分类实验与模拟表明,该方法有效提升了预算利用率、信息量与检验功效。

  12. arXiv stat.ML32

    LUCID:基于条件密度估计的局部变量重要性度量方法

    LUCID 是一种新型模型无关的局部变量重要性(VI)度量指标与估计器,通过从给定其余特征的完整条件分布中采样合理值来扰动目标特征。该方法解决了以往扰动策略因忽视特征依赖而生成不切实际反事实样本的问题,并提供具备收敛保证与不确定性量化的估计器。实验表明 LUCID 在模拟和真实数据中均展现出稳定性能与实用价值。

  13. arXiv stat.ML37

    基于路由集成与轨迹归因的多目标强化学习

    研究提出基于路由集成与轨迹归因的多目标强化学习方法,以解决多目标冲突导致的策略学习样本效率低问题。该方法通过动态路由轨迹至高潜能基策略,在 Meta-World 和 MO-Gymnasium 在线环境下较基准提升 4.3% 的平均性能。其设计的核代理轨迹归因算法可捕捉轨迹间的非线性交互,在轨迹选择任务中较基线归因方法实现 27% 的奖励提升。

  14. arXiv stat.ML26

    随机多目标多臂老虎机中的平衡采样

    针对随机多目标多臂老虎机中帕累托最优臂的平衡采样难题,该研究提出了一种自适应前二采样算法。该方法以 KL 散度度量采样不公平性,在帕累托集稳定时期望不公平度与方差分别达到 $O(\log T/T)$ 和 $O(T^{-1})$ 理论界并匹配信息论下界。其探索强化变体在长时程下保持该期望收敛率,同时将方差界优化至 $O(\log^2 T/T^2)$。

  15. arXiv stat.ML26

    Wasserstein 损失下条件生成学习的极小极大速率

    该研究确立了积分 Wasserstein 损失下条件生成学习的极小极大速率。在期望损失下其速率与均匀协变量情形一致,高阶矩损失则会因未观测协变量区域引入阶为 $n^{-1}$ 的额外风险,研究通过自适应局部化给出了匹配上界。此外,研究利用多尺度下界闭合了二维无条件 $W_1$ 速率的对数间隙,并给出了条件 Brenier 映射的极小极大速率。

  16. arXiv stat.ML35

    面向 Bayesian LoRA 的先验预测匹配

    研究人员提出针对 Bayesian LoRA 的闭式先验预测匹配估计器,可在微调前直接确定低秩权重更新的先验超参数。理论证明最优先验精度与秩 $r$ 呈 $r^{-1/2}$ 缩放关系,单次估计即可在所有 rank 间泛化。在 RoBERTa-large 上,该方法无需验证数据即可改善预测 NLL 与模型校准度,并展现出具有竞争力的分布外检测能力。

  17. arXiv stat.ML34

    AutoEnergyDesign:用于能源系统设计自动优化的 LLM 智能体框架

    AutoEnergyDesign 框架利用 LLM 智能体推理先前的模拟结果并借助 git 机制自动回滚未成功的变更,实现建筑能源系统设计的自动化优化。在实测负荷测试中,基于 Claude Haiku 5.5、Sonnet 5.5 与 Opus 5.5 的智能体均达到约 3.53 MEUR 的 25 年净现成本,表现优于 TPE 贝叶斯优化和演化策略基线。

  18. arXiv stat.ML36

    机器遗忘应以风险感知的输出控制为核心

    针对偏见、毒性、模型幻觉和敏感信息泄露等缺陷,机器遗忘(Machine Unlearning)应优先聚焦具备统计保证的输出空间控制,而非参数空间的相似性。现有追求与从头重训模型参数不可区分的目标脱离实际,而输出控制能提供严谨鲁棒的目标与可解释保证,并可扩展至现代部署场景。该观点已获得实证证据与理论结果的支持。

  19. arXiv stat.ML26

    基于数据增强局部化的共形新颖性检测

    针对变量间关系的条件新颖性检测问题,研究提出一种基于共形推断的数据增强局部化共形 p 值。该方法在核估计中结合校准与测试数据来重新校准条件分布估计器,确保了有限样本有效性并提升检测效率。配套检测算法与数据驱动带宽选择方案在严格控制有限样本错误发现率的同时增强了检测功效,已在模拟与真实数据实验中得到验证。

  20. arXiv stat.ML32

    扩散模型记忆效应的有效早期检测

    研究提出将拆分保形校准与序列监控相结合的方法,用于无条件扩散模型去噪轨迹中训练数据记忆效应的无提示词早期检测,并有效控制虚警率。该研究在无条件 CIFAR-10 EDM 上对比了单步 Bonferroni 校准与基于最大记忆分数的轨迹级校准。实验表明,轨迹级校准能更充分利用虚警预算,在保持检测能力的同时可在更高噪声水平下实现更早检测。

  21. arXiv stat.ML47

    Scaling Law 估计中的罗生门效应与拟合挑战

    神经网络 Scaling Law 的常规拟合存在罗生门效应,即截然不同的参数设置虽然在既有数据上拟合度接近,但在大规模外推时预测结果会出现实质性分歧。研究提出了一种确定性分支定界算法,不仅能保证获得近最优的拟合损失,还能穷举映射出所有近似最优解所对应的完整缩放曲线范围。

  22. arXiv stat.ML59

    论文解析主动记忆召回中的规模代价:记忆库扩大会导致误报率激增

    论文指出主动记忆召回本质上属于多重检验问题,当长期助手的记忆库规模从 8 扩大至 2048 时,原本定为 5% 的误报率会剧增至 87% 到 100%。研究从理论上证明了门控命中率会随库容量增大而呈幂律衰减,解释了词汇与语义通道阈值增长的数学规律。作者据此提出了一种基于提示替换的共形门控方法,无需标签即可在保持高命中率的同时将误报率稳定在约 5%。

  23. arXiv stat.ML29

    基于稳定测量机制的保形预测

    针对目标域缺乏参考标签的场景,研究提出利用测量分布稳定性调整连续结果保形预测区间的方法。合成高斯数据实验显示,该方法在相同平均区间长度下覆盖率优于协变量加权,且较合并标签调整缩短约 8% 的区间长度。在 Air Quality 数据集测试中,受控偏移提升了覆盖率,但在跨季节与跨年度迁移中出现明显的欠覆盖。

  24. arXiv stat.ML33

    函数型数据的合成数据增强:Wasserstein 风险界与基于扩散模型的条件生成

    针对采集成本高昂的函数型数据,研究提出基于类别条件函数扩散模型的合成数据增强方法,并在 Wasserstein-1 距离下给出了理论风险界。理论推导出了最优合成曲线数量与合成数据超越真实数据的条件,同时界定了类别不平衡下的超额风险。在温度、高光谱和步态曲线实验中,该方法提升了分类与函数回归表现,向少数类补充样本收益最高。

  25. arXiv stat.ML35

    表征形成的信息几何学

    研究提出将神经网络表征学习视为几何轨迹,利用 Bures 几何与量子 Fisher 信息量化内部结构的动态形成过程。实验发现计算所需的输入交互阶数越高轨迹越曲折,且路径曲折度能准确预测表征在持续训练中的漂移与参数微扰敏感性。此外,该形成几何还能通过表征感知优化进行主动干预与塑造。

  26. arXiv stat.ML31

    受约束梯度均衡:局部受限对抗环境下的可逼近性研究

    该研究针对在线学习中的受约束梯度均衡(CGEQ)问题,提出了局部受限对抗者设定下的可逼近性理论框架,并给出了类 Blackwell 可接近性的充要条件。同时,研究提出了一种算法原则,可在带裕度的局部可行性条件下将窗口无悔学习器转化为 CGEQ 算法。在合成与真实数据上的实验表明,该算法能有效达成梯度均衡并满足约束。

  27. arXiv stat.ML27

    联合稀疏样本加权与参数估计的非凸框架

    研究人员提出 SWAPE 框架,通过联合优化模型参数与样本权重,在训练模型的同时为每个训练样本分配独立权重。该框架兼容凸、弱凸和差凸等多种损失函数,并采用基于 majorize-minimize 技术的交替最小化算法求解且保证算法收敛。多项学习任务与数据异常实验表明,该方法相比基准方法能更有效降低不良数据点的影响。

  28. arXiv stat.ML36

    标签噪声下早停何时有益?核梯度流的相图分析

    新研究通过核梯度流推导高维学习曲线与相图,表明即便存在大量不可约标签噪声,模型插值表现仍可优于早停。CIFAR10 实验显示,浅层模型后期测试误差会恶化,但更大更深的卷积网络在拟合全部随机标签后早停需求基本消失。理论分析表明,学习共享关系的线性核与拟合噪声的高阶核之间的平衡,决定了早停是否必要及插值能否达到最优泛化。

  29. arXiv stat.ML30

    交互环境下的近似通用预测

    该研究分析了交互反馈对 Solomonoff induction 等通用贝叶斯混合预测器近似保证的影响。结果表明,无限多可计算环境的超额预测误差阶数为紧致的 $\kappa\eta\,2^{K(\mu)}$,其中 $\eta$ 为训练 KL 预算,$\kappa$ 衡量策略覆盖率。在有界回报下,价值误差受低覆盖分支进入概率与 $\eta$ 平方根项控制,适用于满足特定近似与覆盖条件的架构。

  30. arXiv stat.ML32

    几何特性如何影响黎曼流形上的生成模型评估

    该研究系统对比了黎曼流形上测地线、环境空间与切空间版本的 Wasserstein 及 MMD 生成模型评估指标。基于受控噪声扰动与 Riemannian Flow Matching 样本实验发现,没有任何指标始终可靠,曲率和维度会影响测量差异与噪声敏感度。作者据此提出了报告评估距离、对比指标类型及依据样本几何校准指标的实用建议。

  31. arXiv stat.ML30

    基于距离轮廓的度量空间因果推断

    研究提出基于距离轮廓的“轮廓因果效应” $\Delta(\omega,t)$,用于在度量空间中推断分布、协方差矩阵和网络等对象值结果的因果效应。该框架结合交叉拟合双重稳健分数、高维高斯近似与乘子自举,构建出同时置信带并实现全局检验。实验表明,该检验能捕捉 Fréchet 均值遗漏的集中效应,且在存在混杂时实证检验水准保持在名义水平附近。

  32. arXiv stat.ML31

    高保真联邦表格数据合成框架 FITS

    研究者提出联邦表格数据合成框架 FITS,针对联邦学习场景下的混合类型表格数据解决分布保真度与混合变量处理难题。该框架核心是基于局部线性回归估计条件累积分布函数(CDF)的两步联邦算法,并通过连续化方法在密度函数与 CDF 层面无损恢复离散分布。实验表明,FITS 生成的合成数据能够提升所有客户端的下游任务表现。

  33. arXiv stat.ML26

    Nesterov 轨迹何时最终达到局部极小?

    研究探讨了 Nesterov 加速方法轨迹在变分意义下何时最终达到局部极小,并证明该问题等价于相关薛定谔算子的非负性。针对形如 f(x)=(1/p)||x||^p 的幂函数目标(p ≥ 2 且初始位置非零),研究证明该轨迹最终局部极小当且仅当 p=4。研究还借助半线性椭圆方程的稳定性理论对 p=4 这一特殊指数进行了解释。

  34. arXiv stat.ML25

    带噪声测量的盲目随机搜索:几乎必然收敛与收敛速率

    针对带噪声测量的全局优化问题,研究提出一种结合衰减接受阈值与噪声损失滑动平均的扩展盲目随机搜索算法,并证明其几乎必然收敛至全局最小值。收敛速率分析显示,该算法在低维情形下具有几乎必然渐近上界,在高维情形下其缩放后的损失差服从精确的 Weibull 极限分布。

  35. arXiv stat.ML25

    随机概率分布的核均值嵌入及其主成分

    研究构建了随机概率分布在再生核希尔伯特空间中的核均值嵌入分析框架,确立了分布数据核统计方法的样本渐近性质。针对随机分布的主成分,研究给出了通用收敛结果,并导出了期望服从高斯分布的正态分布未中心化协方差算子的谱分解显式表达式。该核主成分流程的性能通过数值模拟与合成孔径雷达图像的强度分布分析得到了验证。

  36. arXiv stat.ML33

    并非所有错误标注都同等重要:基于置信序列的高效任务感知审核

    研究人员提出 ATLAS 框架,结合随时有效推理与任务感知自适应策略,以显著降低数据集标签的人工审核量。在将错误率验证至 ±2 个百分点时,该方法在肯尼亚生物多样性数据和 CIFAR-10N 基准上比随机抽样分别减少 24% 和 11% 的审核;针对 Hill-Shannon 多样性等非线性评分,达到目标精度的审核量减少了 36%。