跳到正文

#arXiv

今日 0 条
10月15日周四
  1. arXiv cs.LG39

    一个 Token 需要多少秩?用于一秩 LoRA 专家的底噪静噪方法 SQUELCH

    研究者提出无需路由器的混合一秩专家方法 SQUELCH,通过软阈值过滤高斯底噪让每个 token 动态调整激活秩,且不增加额外可训练参数。在 LLaMA-3.1-8B、千问(Qwen3)和 DeBERTaV3 上的评测显示,SQUELCH 较传统 LoRA 提升 2.2-3.2 个点,在平均仅激活 32 个组件中 8.6 个的情况下超越最强混合基准 0.8-1.2 个点。

  2. arXiv cs.LG33

    基于前序效用预测的 IR-PRM+:常数级遗憾与最佳迭代收敛

    研究人员提出了一种结合前序效用预测的 IR-PRM+ 算法,在有限双人零和矩阵博弈的同步与交替更新下均实现了常数级外部遗憾界。该方法可保证 O(T^{-1}) 平均对偶间隙与 O(T^{-1/2}) 最佳当前迭代间隙,且当前策略组合收敛至纳什均衡集。同时,对应的 IR-PCFR+ 变体也将类似理论保证拓展到了完美记忆的扩展型博弈中。

  3. arXiv cs.LG39

    图像自蒸馏的数据密度扩展定律研究

    研究发现图像自蒸馏模型中样本重复对下游性能的影响因数据集而异,在部分场景下对较小随机子集重复训练的表现甚至优于使用更多唯一样本。基于 Maxar、Waymo、ImageNet 等数据集的实验,研究团队提出了一种改进的 Chinchilla 风格扩展定律,明确计入唯一样本量与单样本重复次数。该框架为理解数据与算力权衡提供了支持,同时还分析了子集选择和数据增强对下游性能的影响。

  4. arXiv cs.LG35

    PMO-Dock:分子优化中的对接、特异性与泛化能力基准评测

    研究人员提出了基于对接的分子优化基准与协议 PMO-Dock,包含覆盖苗头化合物生成、先导化合物优化及特异性任务的 25 个任务,并在严格的 oracle 预算下将验证任务调参与未见测试任务最终评估分离。研究评测了 Saturn、GenMol、Genetic-guided GFlowNet 和 ChemLlama 四种方法,结果显示没有一种方法在所有任务上普遍最优,且超参数跨任务迁移效果有限。

  5. arXiv cs.LG34

    扰动预测模型是否学到了基因相互作用?智能体筛选中的外推诊断研究

    针对未测基因组合效应的预测难题,研究人员提出通过对比模型预测与单基因效应相加的基线,构建度量额外相互作用的加性差异指标(AD)。在 8 种预测方法和 3 个 Perturb-seq 数据集上的评测显示,专用神经预测模型并未始终超越简单的加性基线,且偏离加性基线越大的预测往往误差越大。该指标相比传统置信度信号表现更稳定,可用于指导智能体扰动筛选流程的决策。

  6. arXiv cs.LG35

    视觉类增量学习方法能否迁移至蛋白质?冻结蛋白质编码器诊断基准研究

    研究人员在一项针对冻结蛋白质编码器的受控基准评测中发现,现有的视觉类增量学习(CIL)方法无法可靠迁移至蛋白质表征。该基准涵盖 9 种代表性 CIL 方法、5 种蛋白质编码器和 2 个不同规模的酶功能数据集。诊断分析表明失败源于梯度稳定性信号弱、嵌入几何高度异质以及协方差假设失效,未来蛋白质持续学习需采用感知编码器几何特性的方法,相关代码已开源。

  7. arXiv quant-ph34

    利用全息量子电路采样实现时间序列生成学习

    研究人员提出全息量子电路采样(HQCS),通过结合电路中途测量、量子比特复用与独立参数化时间块,使用固定数量的量子比特生成时间序列轨迹。理论上,HQCS 针对特定损失方差证明了反多项式界,避免了指数级损失集中,并将特定非平稳过程的精确生成门数量从二次方降为线性。仿真实验显示,HQCS 学习历史波动率指数(VIX)轨迹的最大均值差异比测试的经典基准低 10 倍以上。

  8. arXiv quant-ph30

    利用 AI 降低量子应用开发中的信任成本

    研究提出一种结合生成式 AI 与形式化验证的开发方法,旨在降低人工核验量子线路正确性所产生的“信任成本”。该方法将实现划分为目标数学规范、量子线路,以及证明两者一致的对应定理与证明,使人类仅需审查规范与定理陈述,而将定理证明交由机器自动核验。研究以随机粒子系统时间演化的实现作为具体范例展示了该方案。

  9. arXiv quant-ph26

    用于希格斯玻色子事件分类的量子机器学习模型样本规模扩展性与表征敏感度研究

    研究人员针对希格斯玻色子事件分类评估了量子支持向量机(QSVM)与变分量子分类器(VQC)的样本规模扩展性及表征敏感度。模型基于 ATLAS 挑战赛模拟数据,在 250 至 4000 个事件的平衡子集上结合 PCA 与自编码器降维进行训练,并以 4 种经典分类器为基准。结果显示较大样本下 QSVM 表现优于 VQC,但两者仍落后于表现最佳的经典分类器。

  10. arXiv quant-ph25

    镜中罗盘:基于 Hopf Ansatz 的量子反向传播

    研究提出基于 Hopf ansatz 的量子反向传播方法,利用逆向 Hopf 框架和相位校准受控反射,通过复用有限测量记录实现完整参数梯度的反向计算。对于包含 $M$ 个实值参数的完整图谱,全局方法的执行采样次数为 $\mathcal{O}(\log\log M)$,检查点方案则为 $\mathcal{O}(\log M\log\log M)$。

  11. arXiv quant-ph29

    量子 Fisher 有效维度能否评估混合量子神经网络?

    研究表明量子 Fisher 信息矩阵(QFIM)的有效维度反映的是电路几何特性,而非混合量子神经网络(QNN)的模型质量。实验显示其与测试准确率的相关性在 -0.72 至 +0.87 之间波动,且在半数配置中会随随机种子改变正负符号;在固定电留下,初始有效维度为 6 至 9,但 CIFAR-10 准确率跨越 23.14% 到 86.44%。

  12. arXiv quant-ph25

    用于量子储备池计算的参数高效多线性读出方法 ML-QRC

    研究人员提出了用于量子储备池计算的多线性读出方法 ML-QRC,通过沿各模式投影保留时间步、量子比特与可观测量构成的张量结构。在指定配置下,ML-QRC 相比全稠密 MLP 减少了 12.0 倍参数,特征块压缩达 12.1 倍。实验表明其在 TFIM 相分类全数据测试中取得最高准确率,并在 Mackey-Glass 预测中显著改善了神经读出在低数据场景下的稳定性。

  13. arXiv quant-ph33

    量子视觉 Transformer(QViTs)的实证扩展定律

    量子视觉 Transformer(QViTs)的数值图像分类实验表明,其验证损失可由量子比特数、Transformer 深度和训练数据集大小构成的联合平移幂律模型良好描述。在等效预测性能下,增加量子比特数能够弥补经典编码器参数量的减少。该发现印证了量子学习模型在参数效率上的优势,为量子机器学习探索资源节省提供了新方向。

10月12日周一
  1. arXiv cs.LG39

    迈向更易调优的训练算法:AlgoPerf 最新评测结果

    更新后的 AlgoPerf V1 基准发布最新评测结果,在要求 9 个工作负载共用单一配置的自调优规则下,Schedule-Free AdamW 在 13 个 PyTorch 与 JAX 提交算法中排名第一。分析表明,矩阵预处理与两循环方法虽样本效率良好,但需更激进的计算优化才能提升实际耗时竞争力,且学习率与动量跨领域依然高度敏感。

  2. arXiv cs.LG34

    用于轨迹外推的目标约束池化方法 TCP

    研究者提出目标约束池化(TCP)方法,通过解耦有限时域端点与延续形状,并结合均匀池化与匹配增量池化两种互补源信号来修正自由预测。在涵盖 5 个领域的 25,245 个目标轨迹测试中,TCP 使 10 种仅基于目标的预测器平均 RMSE 降低了 35.8% 至 42.1%,并在全部 100 项对比中均取得性能提升。

  3. arXiv cs.LG38

    面向可解释算子学习的低秩 Kolmogorov-Arnold 生成元流

    研究者提出 KAFlow,利用单变量 Kolmogorov-Arnold 函数构建低秩符号学习物理算子生成元,并能自动提炼其闭式解。在基准测试中,KAFlow 将分布外损失降低 3.4 至 11 倍,无需符号模板即可将系数恢复至 10^-4 精度。在长程量子动力学中,其状态不保真度最多降低 6 个数量级,且变阶分数阶算子学习精度比现有网络高 15 倍。

  4. arXiv cs.LG41

    轨迹感知策略优化(TAPO):弥合长程 LLM 强化学习中的状态分布差距

    研究人员提出轨迹感知策略优化(TAPO),通过从离线策略梯度中推导状态分布修正并引入强化学习目标,解决长程自回归推演中的状态分布偏移问题。TAPO 采用几何平均估计器降低方差,并结合长度感知动态裁剪防止轨迹过度更新。在 8 个竞赛级基准测试中,TAPO 相比 GRPO 在数学推理和算法编程上分别取得最高 48% 和 12% 的性能提升。

  5. arXiv cs.LG40

    广义近端策略优化(GPPO):从散度视角统一 LLM 强化学习算法

    研究人员提出广义近端策略优化(GPPO),从散度视角构建起统一 LLM 强化学习算法的理论框架。该方法基于广义 f-散度信任域理论并引入新型估计器拓扑,将 PPO 以及 DAPO、DPPO、RIPO 等变体统一纳入“散度×估计器”二维设计空间中。在 8 个竞赛级数学与代码评测基准上,表现最佳的 GPPO 实例在数学和代码任务上分别超越标准 GRPO 高达 50% 与 14%,取得 SOTA 性能。

  6. arXiv cs.LG26

    离线到在线线性老虎机的高斯宽度界

    针对离线到在线随机线性老虎机中仅有 $k$ 个(共 $d$ 个)特征方向未被充分覆盖的场景,新研究利用高斯向量的 Lipschitz 函数集中不等式收紧了奖励预测误差,提出了一种遗憾界达到 $\widetilde O(k\sqrt T)$ 的分阶段消除算法。

  7. arXiv cs.LG36

    基于中期天气预报的扩散降水生成研究

    研究人员提出了动力学与降水分离框架,利用条件扩散生成器将冻结天气模型的非降水预报映射到对齐观测的日降水。该方法在 Pangu-Weather、GraphCast 和 HRES 等骨干模型上均提升了日降水准确率与事件检测能力,并在全球集合评估中取得优于 ENS 和从头训练 GenCast 的 Brier 分数。基于中国 2,288 个站点的强降水案例研究进一步证实了其在地面观测上的改进。

  8. arXiv cs.LG28

    DataCupid:针对带延迟反馈训练数据获取的稳定匹配修复算法

    研究者提出了用于解决带延迟反馈训练数据获取中匹配修复问题的 DataCupid 框架。该框架提出的剩余负载修复(RLR)算法结合可靠结果证明与分批匹配调度,其二值配额调度实现了系数 cb < 1.607 的严格轮次界限;变体 RLR-P 在实测反馈重放中比基于宽度的基线具有更低的平均封顶更新认证时间。

  9. arXiv cs.LG34

    Controlled-Minimax:基于控制理论稳定对抗优化的新框架

    研究人员提出 Controlled-Minimax 稳定优化框架,通过将训练动态重构为可控物理系统来解决对抗学习中的震荡与不收敛难题。该方法基于二阶常微分方程建模,推导出特定反馈控制器,无论 Hessian 谱特性如何均可提供局部指数稳定性的理论保证。在 Dirac-GAN、StyleGAN2-ada 等基准实验中,该方法成功抑制了震荡并实现快速稳健收敛。

  10. arXiv cs.LG35

    GIST:面向表格基础模型的生成器状态监督方法

    研究者提出表格基础模型监督方法 GIST,利用中间生成器状态揭示标签不确定性,并在条件标签分布上平均 query 损失以减少预训练采样方差。在相同预训练计划且不改变模型架构与推理的前提下,GIST 在 TabArena 和 TALENT 基准上提升了 3 种架构的平均排名,在与硬标签对照组的配对数据集比较中胜率达 62.1%。

  11. arXiv cs.LG34

    基于 LoRA 适配器的个性化联邦直接偏好优化(pFedDPO)

    研究者提出个性化联邦直接偏好优化方法 pFedDPO,让每个客户端在共享全局基座模型上保留本地私有 LoRA 适配器,以解决异构偏好对齐问题。基座模型每轮通过 FedAvg 进行同步,LoRA 适配器则留在本地捕捉客户端特定偏好模式。偏好数据集实验表明,pFedDPO 的梯度范数持续低于原生 FedDPO,同时在训练损失和客户端奖励准确率上保持竞争力。

  12. arXiv cs.LG33

    针对状态相关重尾噪声的鲁棒朗之万采样算法及其在 LLM 微调中的应用

    研究人员放宽了全局 Lipschitz 梯度与有界噪声方差假设,提出适用于状态相关重尾噪声及广义平滑条件的鲁棒朗之万采样算法 RA-LMC。该方法结合鲁棒估计与噪声感知步长,在不依赖耗散性假设下建立了基于 Fisher 信息的非渐近收敛保证。在 LLM 与视觉语言模型的贝叶斯微调实验中,RA-LMC 在准确率和不确定性量化上达到或超越了现有基准。

  13. arXiv cs.LG37

    基于不动点流匹配(FFM)的强化学习

    研究提出不动点流匹配(Fixed-point Flow Matching, FFM),这是一种无需训练数据即可在强化学习中训练和微调流策略的新方法。该方法将 Actor 更新形式化为不动点迭代,以 Critic 的动作梯度作为流匹配回归目标,且理论证明最优策略为该迭代的不动点。实验表明,FFM 既能在离线到在线场景中微调预训练流策略,也能在在线强化学习中从零高效训练流策略。

  14. arXiv cs.LG38

    生成模型何时能充当模拟器

    研究探讨了生成模型通过可编辑性充当模拟器的条件,即修改模型潜状态能否产生与编辑模拟器状态相同的下一步输出。研究对比了训练探针引导和直接学习逆映射两种方式,并在离散棋盘游戏奥赛罗(Othello)与连续环境 Rayworld 中进行了验证。实验发现两种映射的成效高度取决于环境,且逆映射成功证明了模型可被其从未学习过的模拟器所驱动。

  15. arXiv cs.LG25

    基于条件变分自编码器集成的冲击响应谱逆向时间序列合成

    研究人员提出基于条件变分自编码器(CVAE)集成的逆向合成方法,通过循环解码器预测多尺度小波系数重构冲击波形。该方法在四个保留基准数据集上的光谱误差均低于早期时域 CVAE 与 SDS 基准。其单模型批推理每条波形仅需约 0.1-0.6 ms,相比 SDS 的 5-8 s 实现了大幅加速,能快速生成多种匹配目标冲击响应谱(SRS)的候选波形。

  16. arXiv cs.LG43

    在大规模推理与训练负载中部署 RDMA

    字节跳动研发并在参数服务器推理与训练系统中部署了基于硬件 RDMA 的软件通信层 ByteExpress。在生产环境推理中,ByteExpress 相比内核 TCP 分别将平均与 P99 模型参数拉取延迟降低 35.7% 和 43.7%,并降低 10.69% 的总 CPU 使用率。在训练场景下,其将 P99 模型参数推送延迟最多降低 74.0%,且运行时未出现 PFC 暂停。