跳到正文

全部动态

今日 80 条
10月23日周五
  1. arXiv cs.LG27

    门控初始化对比循环 Dropout 与 Zoneout 学习长程依赖:LSTM 与 GRU 网络的受控研究

    一项涵盖 720 次训练的对照研究表明,chrono 门控初始化在长程依赖合成任务上显著优于循环 Dropout 和 Zoneout 正则化。在常规初始化难以收敛的序列长度下,全部 360 次 chrono 初始化训练均在 5000 次更新内达标,即使时间跨度设定偏差约 4 倍仍有 119/120 次成功。相比之下,常规初始化下 Dropout 普遍拖慢学习,Zoneout 仅在部分条件下有效。

  2. arXiv cs.LG43

    更优策略反致验证器审计恶化:策略内审计崩溃机制与修复

    研究表明,在后训练与测试时计算循环中,随着策略性能提升,针对整体成功标签审计组件验证器会导致“策略内审计崩溃”,使审计可能选出更差的验证器。该失效机制会降低策略外 $F$-AUC,将损害转移至未见过的生成器并增加下游约束违规。研究提出了受控混合审计修复方案,通过在评估与更新分布中保留验证器自身失败样本来消除这一问题。

  3. arXiv cs.LG33

    用于稳定状态分布的基于相异度马尔可夫决策过程

    研究者提出了基于相异度马尔可夫决策过程(DMDP)理论框架,通过使策略作用于当前状态分布并以目标分布的相异度为优化目标,实现状态分布的渐近稳定。该框架引入了分布的有限维表示,推导了稳定性保证条件,并量化了学习和估计误差对稳定性的影响。实践中,研究者将分布估计与目标相关奖励结合至 PPO 和 SAC 算法,在 HalfCheetah 任务上验证了调节速度分布的有效性。

  4. arXiv cs.LG32

    用于不可压缩流动的局部稀疏核算子学习:一种算子拉格朗日表述

    研究人员提出一种用于学习不可压缩流解算子的局部稀疏核方法,通过在 GPU 上并行求解的局部无散插值替代全局输出重构,并利用紧支核实现稀疏算子回归。结合算子拉格朗日权重的模型在新输入下仅需一次稀疏求解,在受迫各向同性湍流任务中使误差降低超过一个数量级。在 10 个流体基准测试中,该稀疏模型精度不低于早期的稠密方法,且优于神经算子。

  5. arXiv cs.LG41

    从频域视角反思时间序列 Tokenization

    针对现有时间序列分词策略易引入频谱失真并损害表征的问题,新提出的频域分词器 TimeFT 实现了近乎无失真的时序建模。该方法通过频域划分、频移和奈奎斯特采样生成 token,具备无参数、计算复杂度极低的特性,可作为现有分词器的即插即用替代方案。实验表明,TimeFT 在预测、分类和异常检测等任务中均能显著提升模型性能。

  6. arXiv cs.LG35

    基于杜布变换的生成策略优化框架 DoobPO

    研究者提出了 DoobPO 框架,利用杜布 h 变换实现生成策略的免似然强化学习微调。该方法先学习轻量比率模型表征策略更新,再通过条件漂移匹配将其蒸馏至生成策略中,统一适用于扩散模型与流模型策略,并兼容 PPO 和 GRPO 等规则。在 MuJoCo 连续控制基准测试中,DoobPO 相比竞争性扩散与流策略基线展现出强劲性能。

  7. arXiv cs.LG34

    SSMCGM-Stream:用于个性化糖尿病管理的流式状态空间模型

    SSMCGM-Stream 是一种流式状态空间模型,通过随血糖读数更新隐状态实现常数时间预测、生理结构反事实推理与可解释预测。基于该模型构建的 SSMCGM-Agent 可通过大语言模型接口输出风险感知的自然语言决策建议。在 T1DEXI 队列评测中,其预测性能匹敌强神经网络基线且大幅降低计算成本,支持设备端连续运行。

  8. arXiv cs.LG35

    正交化如何适应神经网络 Hessian 结构?基于初始化的梯度自外积分析

    新理论针对 Muon 优化器在神经网络中优于 AdamW 的机制,从初始化阶段揭示权重矩阵的过度参数化会驱动动量外积呈现对角占优,从而使隐式预条件器适配 Hessian 的行块结构。研究在对称矩阵分解、深度线性网络、双层 ReLU 网络与单层线性注意力四种模型中推导出显式增长速率,并通过语言模型实验验证了该缩放规律。

  9. arXiv cs.LG34

    从气象到增强风化:用于业务级碳去除的气象基础模型研究

    研究人员通过留一地块协议在美巴两国 264 个地块的 5,192 条时间序列上评测了 5 个气象基础模型用于增强岩石风化(ERW)碳去除量化的表现。基于 Aurora 1.5 构建的最佳模型 TerraNova-ERW 展现了跨领域表征迁移能力,在每地块仅需 2 个样本的少样本预测下可检出超 60% 的最高去除量地块。

  10. arXiv cs.LG26

    面向临床与可穿戴健康数据的单元感知差分隐私量子机器学习研究

    新研究评估了差分隐私量子机器学习(QML)在健康数据中的表现,量子模型在三个临床队列的平均 ROC AUC 较经典模型最高领先 0.104,但在可穿戴队列落后。24 项检验经 Holm 校正后未体现显著差异,结果更偏向趋势而非确定的量子优势。团队在 156 量子比特 IBM 处理器 ibm_fez 上完成了硬件推理验证,相关代码已开源。

  11. arXiv cs.LG34

    将 Transformer 视为通用深度神经网络:精确编译、移除激活乘积的代价与多智能体注意力聚类

    Transformer 模块可精确编译为由固定仿射映射、路由及 sigmoid 与逆平方根等算子构成的通用深度神经网络,摆脱了对 NPU 专用注意力算子的依赖。通过查询或智能体聚类,每个头计算的打分量可从 $N^2$ 降至 $Nk$。该方案在 DeiT-Tiny、MambaIRv2-Light 和 Pythia-70M 上与原模型表现一致,并可直接应用标准训练后量化。

  12. arXiv cs.LG28

    基于高维计算的在线开放世界晶圆缺陷发现框架 WaferHDC

    研究人员提出了基于高维计算(HDC)的在线开放世界晶圆缺陷发现框架 WaferHDC。该架构无需重新训练静态分类器或归档全部原始晶圆历史,能在无标签和无预定义类别数量的情况下,快速检测异常并将反复出现的故障聚类为紧凑的高维向量表示。在工业标准数据集 WM-811K 上,WaferHDC 的调整兰德指数(ARI)较最强在线基线提升 13.3 个百分点,标准化互信息(NMI)提升 10.5 个百分点。

  13. arXiv cs.LG45

    2:4 稀疏度还值得用吗?LLM 推理中半结构化稀疏与量化的对比研究

    研究表明在 LLM 推理中只要更低精度可用,降精度优于引入 2:4 稀疏度,后者精度更低且速度更慢。但当量化达到硬件支持的最低精度时,2:4 稀疏度仍能为线性层带来 1.3-1.7x 加速;在 H100 上经重训练的 2:4 模型通过 vLLM 以 FP8 运行,Prefill 吞吐量比稠密 FP8 高 27% 且 GSM8K 准确率持平。

  14. arXiv cs.LG34

    基于模块化扩散模型引导的多目标蛋白质优化框架 MODS

    研究人员提出了多目标蛋白质优化模块化框架 MODS,通过推理阶段的扩散模型引导来兼顾多种蛋白质适应度属性。该方法利用增强切比雪夫标量化权重和代理模型集成定义标量引导奖励,每轮评估后仅更新代理模型而无需重新训练生成模型。在 6 项蛋白质优化任务及 2 种扩散模型和 2 种引导流程的测试中,MODS 均取得了具有竞争力的最终超体积表现。

  15. arXiv cs.LG26

    面向稳定与可认证语言生成的查询反馈与教学

    新研究针对极限语言生成引入了“可认证性”(certifiability)概念,并建立了涵盖正确性、稳定性与可认证性三级标准的教学维度层级。该研究系统刻画了有无查询反馈下的生成能力,给出稳定生成的有限证据(finite-witness)特征刻画,填补了此前理论空白。此外,作者还在正则语言与擦除模式语言上对比了不同生成标准的教学样本需求。

  16. arXiv cs.LG27

    基于离散时间 Off-Policy 数据且具端到端保证的无模型连续时间强化学习算法

    研究提出无模型 PhiBE 策略迭代(PhiBE-PI)框架,利用固定的离散时间 off-policy 数据批次实现连续时间强化学习,且无需显式估计漂移或扩散项。该框架使用单一状态-动作 Critic 保持动作排序尺度,并在复用数据与线性函数近似下建立了局部端到端次优度理论保证。研究还揭示了偏差-方差权衡,表明更细的时间离散化并不必然提升策略性能。

  17. arXiv cs.LG29

    分布漂移下的极小化极大最优预测流匹配

    研究提出 DyProd-FM 算法,解决分布漂移环境下生成速度场须在当前数据到达前部署的预测流匹配问题。该算法在二进历史前缀上重新拟合流匹配并通过 sleeping Prod master 进行选择,无需预知漂移预算即可达到匹配下界的动态遗憾。理论证明其在相对速度风险变化与目标分布变化下均实现了极小化极大最优速率,且适用于非凸神经网络类别。

  18. arXiv cs.LG39

    通过知识重塑对抗持续领域自适应中的灾难性遗忘

    研究提出 Skill Schema Transport(SST)后训练框架,通过将新知识转译至模型已有技能空间实现程序复用,以解决持续领域自适应中的灾难性遗忘。在两个 3B 指令微调模型上,SST 将流式领域的平均最终性能提升 2.53 至 5.75 分。在 Qwen-3B MATH 流上,该方法将最大遗忘降幅从 42.41 分降至 7.10 分,并大幅恢复了 OOD 退化。

  19. arXiv cs.LG39

    RL-IF:追踪在线强化学习中的非局部训练数据影响

    研究提出了 RL-IF 框架,通过形式化轨迹级留一指标 RL-LOO,解决在线强化学习中跨多轮训练的非局部数据影响追踪问题。该方法将数据影响分解为优化效应与策略采样效应,并据此构建了实用的数据过滤方法 RINSE。在标准控制基准和 RLHF 毒性缓解实验中,RINSE 的训练效率和最终性能均优于标准 PPO 与局部归因基线。

  20. arXiv cs.LG36

    LEAN:通过损失工程调节模型权重敏感度分布以实现高效容错神经网络

    研究人员提出名为 LEAN 的复合正则化方法,通过系统性调节已训练模型的权重敏感度分布来大幅提升容错率并压缩存储。该方法在微调或训练最后 10 个 epoch 引入范围项与长尾项,在 ResNet-18、ResNet-50 等 9 个视觉模型上将敏感长尾缩减 5 至 13 倍,精度损失在 0.5 个点以内,并初步验证于 3 个小型语言模型。

  21. arXiv cs.LG37

    Looped Transformer 中截断反向传播会丢失多少梯度?

    一项针对 9 个循环语言模型的研究精确测量了截断反向传播丢弃的权重梯度,发现当循环数远超截断步数 k 时丢失比例基本保持稳定。在 Ouro 模型上保留 4 个循环中的 2 个仍会损失 81% 的最终输出梯度,但该丢失量在微调 300 步内下降了 0.07-0.22。同时,该指标未能证实比免测量的规则更能预测截断训练成本。

  22. arXiv cs.LG28

    神经网络损失景观中临界轨道的通用拓扑对称性指标

    研究者基于等变度理论提出了一种通用的拓扑对称性指标,用于系统解码神经网络损失景观中的对称性与临界轨道。该框架适用于任意网络架构,并包含处理退化临界轨道的方法,能够检测临界点的各向同性并量化相应的净拓扑贡献。文中通过 softplus MLP、Transformer 以及等变神经网络等多个案例展示了该指标的具体计算。

  23. arXiv cs.LG37

    高斯先验何时失效?强化学习微调下的潜在几何结构研究

    研究指出潜在扩散模型的标准 VAE 高斯先验在强化学习微调下存在结构性缺陷,多模态数据会导致不同模态在潜在空间重叠并引发模式崩塌。在丙氨酸二肽玻尔兹曼分布测试中,高斯先验 VAE 在 beta_c = 0.224 时发生崩塌,而模式追踪高斯混合先验在 0.00316 时才崩塌,差距达 71 倍。该放大效应源自学习到的策略,且模式分离先验能带来不可替代的覆盖率优势。

  24. arXiv cs.LG43

    基于 LLM 的智能体系统自动故障归因机制研究

    研究人员针对基于 LLM 的智能体系统自动故障归因(AFA)展开机制研究,发现模型存在“知晓却不说”(knows-but-won't-say gap)现象,即内部激活已编码定位故障步骤的信息,却无法通过直接提示词输出。基于此提出的 grafting 干预方法充分利用模型潜存知识,无需推理期真实标签,在多模型基准评测中表现持续优于直接提示词方法,代码已开放。

  25. arXiv cs.LG33

    迈向现实的变化模型:决策与动态系统的因果视角

    一项针对统计学习在分布偏移下泛化缺陷的研究,从因果机制视角提出了面向决策与动态系统的建模框架。研究第一部分重构了算法追索框架,提出更现实的成本函数并引入时间维度评估策略;第二部分将因果干预扩展至离散与连续随机过程,证明其平衡状态可关联至作为时序动态压缩表示的结构因果模型(SCM)。

  26. arXiv cs.LG46

    面向迭代式 ML 智能体测试套件的显式反馈契约

    研究提出一种面向迭代式 ML 智能体测试框架的显式反馈契约,仅在提交结果超出基于配对标准误计算的噪声阈值时释放验证分数。在无信号控制任务中,该契约将智能体虚报的增益从精确反馈下的 0.0157 降至 0.0033,并收窄了真实任务的验证与测试集差距。相比精确反馈耗尽 30 次提交预算,契约机制在 4 至 12 次后及早停止,避免了盲目追逐噪声。

  27. arXiv cs.LG34

    CALLIOPE:无需嵌入向量的 AI 使用隐私洞察框架

    研究人员提出支持差分隐私(DP)的框架 CALLIOPE,无需依赖向量嵌入聚类,全流程直接利用大语言模型发现 LLM 对话等语料的主题层次结构。实验表明,该框架在差分隐私设置下的表现优于现有的基于嵌入的方法,尤其在高隐私机制下具备更优的效用。

  28. arXiv cs.LG35

    ArcFlow:面向多种求解器预算训练流策略

    研究人员提出面向部署的算法 ArcFlow,支持在单一流策略中跨指定求解器步数范围训练,同时保持模型架构与部署成本不变。该方法结合了动作对齐监督、预算暴露与最差预算检查点选择。在 DM Control、机械臂操作与运动控制的 30 个任务中,ArcFlow 在 25 个任务上取得了 5 个流策略基准中最高的单步平均回报。

  29. arXiv cs.LG39

    先测量再分配:面向强化学习中 MCP Agent 的校准 Rollout 预算

    研究人员提出了基于奖励分歧的 Discord 评估方法与 BRACE 预算分配框架,用于优化 MCP 环境下工具调用语言模型的强化学习训练。BRACE 通过结合历史任务证据、成功率不确定性及相关奖励模型,在前瞻性预测混合奖励组后再分配生成预算。在 3 种 Qwen3-VL 参数规模下,BRACE 以更少的新训练 rollout 超越基准表现,并在 BFCL 与 NESTFUL 上取得领先。

  30. arXiv cs.LG32

    面向电力负荷预测的极低状态量化 Transformer

    研究人员针对电力负荷预测提出了基于 Transformer 的极低状态(3、5、7 和 16 状态)权重分配与量化方案。直接后训练量化使平均 NRMSE 增加 6.25 和 7.04 个百分点,而感知量化微调(QAT-FT)成功挽回了约 90.2% 和 94.5% 的性能损失。新引入的累积更新阈值法将离散状态转换减少约 77%–80%,为多值突触器件的低功耗边缘预测提供了紧凑实现路径。

  31. arXiv cs.LG36

    SDI:基于世界模型对比想象的探索与规划方法

    研究人员提出 SDI 方法,通过共享的 Actor 基准在世界模型同一状态下对比想象的动作序列,统一解决探索与动作采纳决策。当规划动作的预测优势超出基准变异性的固定倍数时执行规划,否则遵循 Actor,无需额外集成模型。在 Meta-World、Adroit 和 DM-Control 测试中,SDI 的任务平均分均高于基线,并在 18 个任务中的 15 个上达到或超过最强基线。

  32. arXiv cs.LG35

    用于大语言模型非结构化训练后剪枝的嵌套 LADDER 框架

    研究人员提出大语言模型非结构化训练后剪枝框架 LADDER,通过逐层损伤驱动评估与微调增量分配稀疏度,生成精确嵌套的掩码。在 OPT、Llama 和 Qwen 的 5 款模型及 10-90% 稀疏度测试中,该方法以 SparseGPT 为候选生成后端,在 70% 及以上高稀疏度下表现出显著鲁棒性。这种高稀疏度优势在后续蒸馏后仍得以保留,有效提升了零样本综合准确率。

  33. arXiv cs.LG38

    运动等变卷积 LSTM:当运动成为规范对称性

    研究者提出运动等变卷积 LSTM(MELSTM),将时序运动建模为规范对称性,利用速度模型作为规范场,在数学上证明对任意运动均具备等变性。在相同参数量下,MELSTM 在未来帧预测、动态数字分类及相机抖动动作识别任务中全面优于标准卷积 LSTM 及其流等变模型。该模型不仅准确率更高,还能泛化至更长周期和未见运动,且状态占用仅为流等变模型的一小部分。

  34. arXiv cs.LG36

    大宣称与微弱差距:GraphLLM 报告的性能提升能否经受住简单基线检验?

    新研究发现,用于文本属性图节点分类的简单基线仅落后 GraphLLM 最佳报告性能中位数 2.3 个百分点,在 24 项任务中有 15 项差距在 3 个百分点以内。虽然 GraphLLM 在 22 项可测任务中有 12 项仍显著更优,但代码审查发现诸多评测风险,包括测试集调参、测试标签用于训练,以及同方法报告差异最高达 12.5 个百分点。

  35. arXiv cs.LG27

    STAR-XPC:用于估算聚合物复合材料 X 射线透射率的 Set Transformer 模型

    STAR-XPC 是一种基于 Set Transformer 的神经网络模型,可在 1-3 毫秒内直接预测聚合物复合材料的 X 射线透射比。该模型利用 ChemBERTa 嵌入各成分,支持最多 11 种成分的混合物,推理速度较耗时数小时的 Monte Carlo 模拟提升数个数量级。在 4697 个配置的数据集上,其 R² 达 0.9988,中位数绝对百分比误差仅为 1.15%。

  36. arXiv cs.LG41

    SimHack:在 RL 训练前预测可检测奖励欺骗的爆发时机

    研究人员提出模拟器 SimHack,利用少量小规模参考 RL 运行学习训练动态,可在训练前预测奖励欺骗的爆发步数分布。在未见目标配方中,其预测爆发中位数的相对误差仅 11.3%,跨配方排序相关性达 0.85,并泛化至不同模型规模与学习率。通过筛选 RL 课程,它成功找到了使无欺骗训练时长延长 96.6% 的方案。