跳到正文

#arXiv

今日 0 条
10月12日周一
  1. arXiv cs.LG38

    面向可解释算子学习的低秩 Kolmogorov-Arnold 生成元流

    研究者提出 KAFlow，利用单变量 Kolmogorov-Arnold 函数构建低秩符号学习物理算子生成元，并能自动提炼其闭式解。在基准测试中，KAFlow 将分布外损失降低 3.4 至 11 倍，无需符号模板即可将系数恢复至 10^-4 精度。在长程量子动力学中，其状态不保真度最多降低 6 个数量级，且变阶分数阶算子学习精度比现有网络高 15 倍。

  2. arXiv cs.LG41

    轨迹感知策略优化（TAPO）：弥合长程 LLM 强化学习中的状态分布差距

    研究人员提出轨迹感知策略优化（TAPO），通过从离线策略梯度中推导状态分布修正并引入强化学习目标，解决长程自回归推演中的状态分布偏移问题。TAPO 采用几何平均估计器降低方差，并结合长度感知动态裁剪防止轨迹过度更新。在 8 个竞赛级基准测试中，TAPO 相比 GRPO 在数学推理和算法编程上分别取得最高 48% 和 12% 的性能提升。

  3. arXiv cs.LG40

    广义近端策略优化（GPPO）：从散度视角统一 LLM 强化学习算法

    研究人员提出广义近端策略优化（GPPO），从散度视角构建起统一 LLM 强化学习算法的理论框架。该方法基于广义 f-散度信任域理论并引入新型估计器拓扑，将 PPO 以及 DAPO、DPPO、RIPO 等变体统一纳入“散度×估计器”二维设计空间中。在 8 个竞赛级数学与代码评测基准上，表现最佳的 GPPO 实例在数学和代码任务上分别超越标准 GRPO 高达 50% 与 14%，取得 SOTA 性能。

  5. arXiv cs.LG26

    离线到在线线性老虎机的高斯宽度界

    针对离线到在线随机线性老虎机中仅有 $k$ 个（共 $d$ 个）特征方向未被充分覆盖的场景，新研究利用高斯向量的 Lipschitz 函数集中不等式收紧了奖励预测误差，提出了一种遗憾界达到 $\widetilde O(k\sqrt T)$ 的分阶段消除算法。

  6. arXiv cs.LG36

    基于中期天气预报的扩散降水生成研究

    研究人员提出了动力学与降水分离框架，利用条件扩散生成器将冻结天气模型的非降水预报映射到对齐观测的日降水。该方法在 Pangu-Weather、GraphCast 和 HRES 等骨干模型上均提升了日降水准确率与事件检测能力，并在全球集合评估中取得优于 ENS 和从头训练 GenCast 的 Brier 分数。基于中国 2,288 个站点的强降水案例研究进一步证实了其在地面观测上的改进。

  7. arXiv cs.LG28

    DataCupid：针对带延迟反馈训练数据获取的稳定匹配修复算法

    研究者提出了用于解决带延迟反馈训练数据获取中匹配修复问题的 DataCupid 框架。该框架提出的剩余负载修复（RLR）算法结合可靠结果证明与分批匹配调度，其二值配额调度实现了系数 cb < 1.607 的严格轮次界限；变体 RLR-P 在实测反馈重放中比基于宽度的基线具有更低的平均封顶更新认证时间。

  8. arXiv cs.LG34

    Controlled-Minimax：基于控制理论稳定对抗优化的新框架

    研究人员提出 Controlled-Minimax 稳定优化框架，通过将训练动态重构为可控物理系统来解决对抗学习中的震荡与不收敛难题。该方法基于二阶常微分方程建模，推导出特定反馈控制器，无论 Hessian 谱特性如何均可提供局部指数稳定性的理论保证。在 Dirac-GAN、StyleGAN2-ada 等基准实验中，该方法成功抑制了震荡并实现快速稳健收敛。

  9. arXiv cs.LG35

    GIST：面向表格基础模型的生成器状态监督方法

    研究者提出表格基础模型监督方法 GIST，利用中间生成器状态揭示标签不确定性，并在条件标签分布上平均 query 损失以减少预训练采样方差。在相同预训练计划且不改变模型架构与推理的前提下，GIST 在 TabArena 和 TALENT 基准上提升了 3 种架构的平均排名，在与硬标签对照组的配对数据集比较中胜率达 62.1%。

  10. arXiv cs.LG34

    基于 LoRA 适配器的个性化联邦直接偏好优化（pFedDPO）

    研究者提出个性化联邦直接偏好优化方法 pFedDPO，让每个客户端在共享全局基座模型上保留本地私有 LoRA 适配器，以解决异构偏好对齐问题。基座模型每轮通过 FedAvg 进行同步，LoRA 适配器则留在本地捕捉客户端特定偏好模式。偏好数据集实验表明，pFedDPO 的梯度范数持续低于原生 FedDPO，同时在训练损失和客户端奖励准确率上保持竞争力。

  13. arXiv cs.LG33

    针对状态相关重尾噪声的鲁棒朗之万采样算法及其在 LLM 微调中的应用

    研究人员放宽了全局 Lipschitz 梯度与有界噪声方差假设，提出适用于状态相关重尾噪声及广义平滑条件的鲁棒朗之万采样算法 RA-LMC。该方法结合鲁棒估计与噪声感知步长，在不依赖耗散性假设下建立了基于 Fisher 信息的非渐近收敛保证。在 LLM 与视觉语言模型的贝叶斯微调实验中，RA-LMC 在准确率和不确定性量化上达到或超越了现有基准。

  14. arXiv cs.LG37

    基于不动点流匹配（FFM）的强化学习

    研究提出不动点流匹配（Fixed-point Flow Matching, FFM），这是一种无需训练数据即可在强化学习中训练和微调流策略的新方法。该方法将 Actor 更新形式化为不动点迭代，以 Critic 的动作梯度作为流匹配回归目标，且理论证明最优策略为该迭代的不动点。实验表明，FFM 既能在离线到在线场景中微调预训练流策略，也能在在线强化学习中从零高效训练流策略。

  15. arXiv cs.LG38

    生成模型何时能充当模拟器

    研究探讨了生成模型通过可编辑性充当模拟器的条件，即修改模型潜状态能否产生与编辑模拟器状态相同的下一步输出。研究对比了训练探针引导和直接学习逆映射两种方式，并在离散棋盘游戏奥赛罗（Othello）与连续环境 Rayworld 中进行了验证。实验发现两种映射的成效高度取决于环境，且逆映射成功证明了模型可被其从未学习过的模拟器所驱动。

  18. arXiv cs.LG25

    基于条件变分自编码器集成的冲击响应谱逆向时间序列合成

    研究人员提出基于条件变分自编码器（CVAE）集成的逆向合成方法，通过循环解码器预测多尺度小波系数重构冲击波形。该方法在四个保留基准数据集上的光谱误差均低于早期时域 CVAE 与 SDS 基准。其单模型批推理每条波形仅需约 0.1-0.6 ms，相比 SDS 的 5-8 s 实现了大幅加速，能快速生成多种匹配目标冲击响应谱（SRS）的候选波形。

  19. arXiv cs.LG43

    在大规模推理与训练负载中部署 RDMA

    字节跳动研发并在参数服务器推理与训练系统中部署了基于硬件 RDMA 的软件通信层 ByteExpress。在生产环境推理中，ByteExpress 相比内核 TCP 分别将平均与 P99 模型参数拉取延迟降低 35.7% 和 43.7%，并降低 10.69% 的总 CPU 使用率。在训练场景下，其将 P99 模型参数推送延迟最多降低 74.0%，且运行时未出现 PFC 暂停。

  20. arXiv cs.LG27

    跨图规模下随机特征 MPNN 的表达能力研究

    研究者提出了一个用于图规模一致近似的总体级理论框架，分析了连续随机节点特征对消息传递神经网络（MPNN）表达能力的限制。研究表明，在初始特征具有与图规模无关的 Lipschitz 界的 MPNN 中，连续随机特征可以量化为有限种颜色且期望输出误差任意小，从而证明这类 MPNN 并不具备图规模一致的通用近似能力。

  22. arXiv cs.LG42

    无坐标自动微分

    研究提出一种无基底导数算子，可直接用现有自动微分（AD）原语表示旋转、体积形式和曲率等几何微分操作。该方法将几何信息转化为代数数据，能与 JAX 的批处理、编译及硬件加速无缝组合。实验表明，该算子可在多种流形算子间复用，并成功应用于时空反演问题管线及旋量（rotor）子群优化。

  23. arXiv cs.LG41

    REDaCT：面向大型推理模型的无崩溃遗忘学习框架

    研究人员提出面向大型推理模型的推理期遗忘学习框架 REDaCT，在清除遗忘集信息的同时完全避免了推理崩溃。该框架通过二元泄露检测器定位推理链中的泄露语句，并在推理阶段注入离线学习的纠正性嵌入以引导安全推理。实验表明，REDaCT 显著改善了推理保留能力，并同时实现了完美的答案遗忘与接近完美的 CoT 遗忘。

  24. arXiv cs.LG34

    用于钙钛矿光伏机器学习评估的出处分组协议

    研究人员针对钙钛矿太阳能电池机器学习评估中随机划分导致的信息泄露问题，提出了基于机构出处的严格分组划分协议，以隔离重复器件、出版物和机构。对 13 个模型的评测显示，树集成模型仅在随机划分中占优，而在未见机构和未来发现的划分中排名暴跌，感知成分的神经网络架构则表现更佳。特征重要性分析进一步表明，器件架构和制备方法与吸收层化学成分对最终效率的影响同样显著。

  25. arXiv cs.LG31

    NV-Tesseract-AD：基于课程学习增强条件扩散的多变量时间序列异常检测框架

    研究者提出多变量时间序列异常检测框架 NV-Tesseract-AD，将 Transformer 扩散骨干与掩码比例和扩散时间步的三阶段双轴课程学习相结合。相比无课程基线，该方法使 F1 分数提升约 3.7 倍并将 MSE 降低 56%，在零样本迁移下 NAB 和 NormA 的 F1 分数分别达到 0.984 与 0.948。

  26. arXiv cs.LG34

    LoRA B 矩阵内静态梯度归因在基于损失的遗忘表现上劣于密度匹配随机掩码

    研究发现在限定 LoRA B 矩阵参数池后，均匀随机掩码在 Qwen2.5-3B 的持续学习测试中，基于损失的遗忘表现一致优于静态梯度归因（跨 7 个随机种子）。该优势主要集中在医疗任务（贡献了总体效果的 80%），代码和数学任务趋势相同，法律任务则无可靠差异。此外，在医疗和法律任务上，两者的平均准确率后向迁移差异在统计上与零无显著区别。

  27. arXiv cs.LG33

    神经期望最大化与元模型：从概率推断视角统一 Transformer 架构

    研究者将 Transformer 架构解释为结合最大乘积环路信念传播（LBP）与期望最大化（EM）的混合概率推断过程。自注意力机制实现了在动态马尔可夫随机场（MRF）上的可微 LBP 近似，而跨网络层级的递进则充当隐式 M 步。基于此视角提出的元模型（meta-models）设计范式，在统一框架下涵盖了自注意力、混合专家（MoE）及门控单元等机制。

  28. arXiv cs.LG33

    KITE：用于时间序列事件预测的知识注入时序编码器

    研究人员提出 KITE 编码器，通过协变量与注意力偏置机制将语义先验注入自监督模型，用于预测多元时间序列中的罕见事件。实验表明，在短上下文场景下，周期性时钟先验使池化 h-AUROC 较无先验基线提升 14%（p<0.001），在 0.25 标签比例下守恒残差提升 47%，且有效先验还支持跨域迁移并带来 53% 的增益。

  29. arXiv cs.LG40

    参数高效微调（PEFT）的范畴学图谱：锥、轨道与规范

    研究提出将参数高效微调（PEFT）方法视作权重空间平滑映射，利用范畴学框架系统分析其表达能力与训练动态。作者通过公式提取的 7 个坐标对来自 138 篇论文的 382 种微调方法完成分类，构建了包含 403 条模拟关系与 485 个阻隔的图谱。论文还严格证明了零初始化 LoRA 始于锥顶点、更新秩无法超过自身两倍等多项数学性质。

  32. arXiv cs.LG35

    面向样本级约束生成的 Primal-Dual Flow Matching (PDFM)

    研究者提出 Primal-Dual Flow Matching（PDFM），通过流匹配参数化与原始-对偶优化算法，实现具备用户指定满足概率的样本级约束生成。该方法可直接控制约束满足率，且仅需二值隶属预言机反馈，无需可微距离、投影或凸性等约束集特殊结构假设。在保持分布保真度的同时，PDFM 相比原始 Flow Matching 显著提升了约束满足率，相关代码已开源。

  33. arXiv cs.LG32

    临界质量：分子结构不相交数据集划分随分子库规模扩大产生偏移

    分子机器学习中基于最大公共边子图（MCES）阈值设为 10 的结构不相交划分规则，在公共分子库扩大至 227,690 个分子时会出现图渗流现象。研究通过容许边界和并查集跳过优化，将 $2.6 \times 10^{10}$ 个分子对缩减至 $1.15 \times 10^{7}$ 个整数规划，实现 2,259 倍计算量缩减且无损划分。

  34. arXiv cs.LG34

    基于脑电低电压区间的专家级AI检测方法：新生儿脑病评估的稳健生物标志物

    研究人员提出用仅基于幅度和持续时间定义的低电压区间（LVI）替代传统爆发间隔，并开发出基于 ConvNeXt 的检测模型以量化新生儿脑电不连续性。该模型在测试集上达到 0.996 的 AUC 和 0.926 的马修斯相关系数，一致性超越人类专家间水平。在 444 名新生儿的数据集测试中，LVI 占比与脑电异常分级高度相关（ρ=0.801），且实现 0.872 的癫痫发作预测 AUC。

  35. arXiv cs.LG38

    用于 AI 智能体持续学习的循环框架 ReHarness

    研究人员提出了面向 AI 智能体持续学习的循环框架 ReHarness，在严格的在线流式协议下通过反向修正来补充前向读写。该框架在每个实例结束后利用轨迹反馈反向修正检索到的反思，并在 3 个持续学习基准测试和 3 种语言模型主干上均超越了纯上下文基线、记忆与反思方法及提示词优化方案。分析显示它能修正分布偏移下过度泛化或过时的经验，同时提升稳定性与可塑性。

  36. arXiv cs.LG26

    面向英国气溶胶监测的数据驱动最优传感器布局

    研究人员提出一种基于 DeepSensor 框架与卷积高斯神经过程的数据驱动传感器布局方法，并应用于英国气溶胶监测。结合惰性评估与缓存的遗传优化将平均计算时间缩减 60%（由 25±7 分钟降至 10±3 分钟），表现与贪心求解器相当。在确定 5 个气溶胶监测站点后，该方法使基于 CAMS 参考场基准的 Joint NLL 改善约 22%。

  37. arXiv cs.LG40

    Kronecker Product Attention：基于结构化分解的高效 KV 缓存压缩

    研究团队提出 Kronecker Product Attention（KPA），将 KV 激活值表示为紧凑矩阵因子的克罗内克积之和，实现最高 10x 的 KV cache 压缩。该方法严格泛化了 TPA，并通过匹配的结构化旋转嵌入消除了类似 MLA 的解耦 RoPE 分支。在相同训练条件下，KPA 在 4 个模型规模和 9 个下游基准上性能达到或超过 MHA、MQA、GQA 与 MLA。

  38. arXiv cs.LG42

    SynAct：面向 LLM Agent 的协同主动反馈学习框架

    研究者提出主动学习框架 SynAct，将专家注意力视为约束并在单步决策层级分配反馈。该框架通过多次 rollout 计算所选动作与最终结果的互信息来对决策排序，在最高价值节点请求专家反馈，并将修正蒸馏为可迁移规则供部署复用。在跨 3 个模型家族的 4 款模型和 4 项 Agent 基准评测中，SynAct 在全部 16 项设置下均提升了留出准确率，平均提升 11.7pp。

  39. arXiv cs.LG26

    用于大学建筑日前电力预测的机器学习与时间序列基础模型评测

    在大学建筑 57 个测试日的日前电力预测评测中，结合天气协变量的预训练基础模型 TimesFM 3.0 取得最低整体误差，较每周季节性基准降低约 43% 平均绝对误差。XGBoost 同样具备竞争力且支持快速本地拟合，而 TimesFM 无需针对具体建筑训练权重。仅凭历史用电的 TimesFM 表现依然稳健，引入协变量可进一步改善节假日预测，LSTM 则耗时更长且未展现优势。