跳到正文

#arXiv

今日 0 条
10月29日周四
  1. arXiv cs.LG32

    面向双曲传输图神经网络求解器的 CFL 感知边设计

    研究提出一种面向双曲型偏微分方程 GNN 求解器的边局部 CFL 感知设计,将模型最终步预测误差降低了 10.4-14.4%。实验表明,直接向原始边特征追加 CFL 几乎无效,仅在边表示已解耦交互方向与空间尺度时才能发挥最大效用。该改进主要通过抑制激波附近的震荡实现,且随着时间步长增大,误差降低效果更加明显。

  2. arXiv cs.LG36

    从分布匹配视角看 LLM 训练算法

    研究提出基于分布匹配的统一框架,将现代 LLM 各阶段训练算法解释为最小化模型与目标分布间的散度。分析表明 On-Policy Distillation(OPD)仅在模型贴近目标分布时优于经典知识蒸馏(KD),并揭示了强化学习(RL)目标分布退化机制。基于此设计的 Conditional KL(CKL)正则化可在放宽奖励提升限制的同时有效保留模式多样性。

  3. arXiv cs.LG28

    一种基于幅值感知比较的量子 k 近邻(QKNN)实现

    研究人员提出一种实用的量子 k 近邻(QKNN)编码技术,通过为每个向量追加单个分量,实现不同 L2 范数向量间的欧氏距离计算。该方法比同类方案更易理解和实现,且所需量子比特更少。在标准标注数据集的真实噪声仿真基准测试中,得益于更少量子比特带来的更高电路相干性,其表现相比近期的欧氏距离 QKNN 方法取得显著提升。

  4. arXiv cs.LG27

    多项式残差网络具有泛型可识别性

    研究人员证明了带有多项式激活函数和偏置项的常数宽度残差网络(ResNet)具有泛型可识别性。当激活函数的多项式次数不低于 5 时,泛型参数对应的纤维为单元素集;次数不低于 3 且无线性项时纤维由偏置平移与实单位根缩放确定。该方法同样适用于无偏置网络,并导出了奇点学习理论中 ResNet 参数化临界点的必要条件。

  5. arXiv cs.LG33

    利用隐动态从粗糙观测重建精细尺度 PDE 轨迹

    研究者提出 Structured Latent Dynamics(SLD)框架,用于从时空下采样观测中重建高分辨率 PDE 轨迹。在二维 Gray-Scott 等方程系统中,SLD 成功将 25 帧输入重建为空间各方向细化 8 倍的 100 帧高分辨率输出。在参数规模相当时,其平均相对 L2 误差和平均绝对误差均低于非结构化隐动态及 ConvLSTM 基线。

  6. arXiv cs.LG34

    模型抽取结合知识蒸馏:从深度神经网络中恢复参数的密码分析技术

    该研究将密码学权重方向抽取与基于预测标签的学习相结合,提出全连接深度神经网络的参数重构方案。在最大合成架构的最深隐藏层中,Leaky ReLU 恢复了 51-57 个神经元(ReLU 为 0 个),较小架构的预测一致性达 0.9890 至 0.9992。在两个 CIFAR-10 目标上,重构模型实现 56.40% 和 58.29% 的一致性,并在三项功能指标上超越蒸馏基线。

  7. arXiv cs.LG29

    超越仿射重构:用于辐射传输方程的多分辨率 Transformer DeepONet

    研究团队提出一种基于 Transformer 的多分辨率 DeepONet,结合 Perceiver 编码器与交叉注意力解码器实现非仿射重构,用于加速火灾模拟中的辐射传输方程求解。该架构无需统一重采样即可直接处理多分辨率输入,并突破了仿射重构的理论误差下限。二维池火实验表明,该模型在预测辐射强度与入射辐射时精度优于自编码器 DeepONet,且具备更少的可训练参数。

  8. arXiv cs.LG34

    面向单轮分布式表格学习的 Geodesic-SVDD 隐空间 Mixup

    研究提出分布式表格学习框架 Geodesic-SVDD,通过测地线隐空间 Mixup 将任务重构为超球面单类密度估计,支持单轮隐私聚合。在 5 个表格基准中,该方法在 7 种联邦方法中平均 AUROC 最高,在 Covertype 上领先联邦树模型达 21 个 AUROC 点。其单轮变体仅需 1 轮通信,即可在 IID 及轻度偏斜下媲美中心化 Deep SVDD。

  9. arXiv cs.LG27

    阿拉伯湾港口卫星测深基准评测:经验、机器学习与深度学习模型的多站点验证

    阿拉伯湾港口卫星测深(SDB)的多模型基准测试表明,验证划分方式对精度的影响远超模型本身,同一 LightGBM 模型在随机划分与未见站点下的 RMSE 分别为 0.57 m 和 1.66 m。跨站点迁移中 Stumpf 比值法以 1.45 m RMSE 表现优于 LightGBM 与 U-Net,而在本地控制点辅助下混合模型在 0-11 m 水深可达 1.11 m RMSE。

  10. arXiv cs.LG33

    H-GLow:基于风险引导离散流匹配加速图生成

    研究人员提出 H-Glow 框架,通过将连续时间马尔可夫链(CTMC)生成元分解为风险率与条件跳转分布,动态规划图编辑并调整采样时间以加速图生成。该框架既可适配预训练图离散流匹配(DFM)模型,也可结合新提出的 DFM 模型直接预测风险与跳转,在分子和合成图基准上以显著更少的采样步数提升了生成质量。

  11. arXiv cs.LG33

    Variational Atlas Autoencoders 与自监督坐标卡选择

    研究人员提出 Variational Atlas Autoencoders,通过构建局部潜在表示图册与潜在证据路由,实现了完全自监督的坐标卡分配。该模型通过识别重叠区域与转换映射,支持贴近数据流形的跨图卡连续插值。在 CelebA 等数据集上,其潜在空间结构和采样质量均优于同容量基线,且采样仅需评估单个图卡的解码器。

  12. arXiv cs.LG34

    基于物理正则化 flow matching 从 PM2.5 临近预报气溶胶粒径分布

    研究提出基于 24h 的 PM2.5 记录及 8 个气象参数,利用生成式模型临近预报小时级气溶胶粒径分布(PSD)。在芬兰森林与城市站点的测试中,flow matching 表现最佳,其引导变体取得了最低的连续分级概率评分(CRPS)。引入简化气溶胶通用动力学方程(GDE)物理约束可使训练站点 CRPS 降低 5.5-11.5%,并有效降低跨站点迁移误差。

  13. arXiv cs.LG22

    用于靶细胞分类的高维人类基因评分数据聚类

    一项针对完整人类基因评分数据集及激酶基因子集的研究表明,在 769 个特征下使用多种聚类算法分析时,最优聚类数均为 2。该研究对比了直接删除缺失值与按 20% 阈值结合均值填充两种策略,并在标准化与 PCA 降维后测试了 K-Means、层次聚类、Fuzzy C-Means 及图聚类,各场景均取得了相对较高的 Silhouette 分数。

  14. arXiv cs.LG32

    递归自主智能体的集体协作

    针对智能工厂跨层级生产协调难题,研究提出了递归自主智能体(RAA)的集体协作框架。该框架依托通用任务与能力接口,实现生产目标的自顶向下递归分解以及能力的自底向上对等聚合,使复合单元能作为同类智能体接入更高层组织。方案涵盖叶单元与复合单元组织模型,并在集成加工、检测和物流的多车间生产网络中完成实例化验证。

  15. arXiv cs.LG26

    面向超图级分类的重叠感知子超图模式频率方法

    该研究提出用于超图级分类的重叠感知子超图模式频率方法,通过引入超边交集重叠标签并以挖掘模式的相对频率构建特征表示。在 DHG-Bench 的 6 个数据集中,该方法在 5 个数据集上的平均 Macro-F1 超越此前最佳表现,Twitter-Friend 和 Steam-Player 分别提升 18.67 和 10.02 点;消融实验证实去除重叠标签会导致 Macro-F1 下降 4 至 9 点。

  16. arXiv cs.LG29

    FedSEAM:基于子空间专家一致性合并的大语言模型联邦持续学习框架

    FedSEAM 提出了一种大语言模型联邦持续学习框架,通过将任务知识组织为稀疏专家并在任务与客户端间选择性共享内容。客户端通过子空间兼容性测试决定专家复用与扩容,服务端借助 SEAM 仅沿共识方向合并更新,并针对路由漂移和合并擦除提供保护机制。该方法已在 TRACE 基准上使用 Qwen3-4B 和 Llama-3.2-3B 完成验证。

  17. arXiv cs.LG34

    RBGA:面向灵巧操作的离线到在线安全强化学习剩余预算引导仲裁算法

    研究团队提出 RBGA 算法,通过显式跟踪回合内剩余安全预算,解决灵巧操作在离线到在线安全强化学习中的探索安全性问题。该方法在每一步对比离线引导动作与在线策略动作的未来代价估计与剩余预算,实现动态动作仲裁。实验表明 RBGA 能在维持高安全表现的同时有效实现在线策略提升,相关代码已开源。

  18. arXiv cs.LG34

    多任务模型合并的误差子空间校准框架 ESCal

    研究人员提出多任务模型合并校准框架 ESCal,通过专家与合并模型的权重差异识别低维误差子空间,以精确定位并修正特征方向。该方法在中间块边界通过 bridge 模块计算加性修正,保持子空间基底固定且仅学习线性映射,参数效率极高。视觉与自然语言理解基准测试显示,ESCal 仅需小规模校准集即可跨多种模型架构与合并方法提升性能。

  19. arXiv cs.LG36

    CD-FFM:基于似然泛函流匹配的气候降尺度模型

    研究人员提出气候降尺度模型 CD-FFM,将高分辨率场作为连续随机场建模,支持在任意位置与分辨率查询并具备精确似然。在将 ERA5 降尺度至 1 km 日气温任务中,其 CRPS 较回归方法降低 27-31%,比参数量大 40 倍的神经算子降低 12-18%,效果优于 CorrDiff 风格扩散模型且采样速度快约 50 倍,同时可迁移至降水预测。

  20. arXiv cs.LG29

    FG-ConvNO:用于螺旋桨 CFD 预测的几何感知神经算子

    研究者提出分解几何卷积神经算子(FG-ConvNO),用于在有限训练数据下实现螺旋桨 CFD 表面压力与全局推力的稳健预测。该架构引入几何感知编码、高效插值解码与辅助全局物理量监督,并结合 DISCO 模块以实现离散化无关。实验表明,FG-ConvNO 在程序生成的螺旋桨数据集上取得了表面压力与全局推力预测的最高精度。

  21. arXiv cs.LG38

    从智能走向自主:面向未来智能系统的自主智能体基础与构建

    该研究提出了自主智能体(autonomous agent)的理论定义与“单一边界、四环路”构建框架,通过操作、生存、反思与学习四条环路分别组织任务执行、自我维持、元控制及受控学习。论文进一步完成了权限约束、道路封闭响应、健康维护、能力重估与跨任务学习 5 组配对仿真实验,为上述机制的可行性提供了初步验证。

  22. arXiv cs.LG31

    数据清洗后的精确机器遗忘

    新研究针对数据清洗管线提出精确机器遗忘(Exact Unlearning)方法与数据保留契约,解决删除原始记录导致此前被排除样本重新入选的问题。该方案依据设定的未来删除上限构建训练统计摘要,支持在多次删除请求后精确修复并用于岭回归等模型。在 1,001 条 AskUbuntu 开发记录测试中,精确成员修复成功通过了 13,056 次删除步骤检查。

  23. arXiv cs.LG42

    强化学习缩放定律实证研究

    一项针对 actor-critic 算法的实证研究建立了强化学习(RL)缩放定律,可在训练算力跨越两个数量级时准确预测性能、最优资源分配与超参数配置。研究采用单智能体 Elo 分数替代传统的平均单局回报,显著提升了规律的可预测性,并据此扩大训练算力在 Craftax 环境中刷新 SOTA。

  24. arXiv cs.LG25

    动作相关观测下开环、确定性等价与最优控制的性能差距

    研究在动作相关观测的线性二次双线性观测系统中,分析了最优策略、确定性等价(CE)控制与最优开环(OL)控制的性能差距。基于提出的信息强度参数 $q$,证明当 $q$ 处于中间区间时,主动探测信息的策略能比 OL 取得 $\Omega(T)$ 优势,而 CE 仅获 $O(1)$ 优势,确立了 CE 与最优控制间存在 $\Omega(T)$ 的性能差距。

  25. arXiv cs.LG33

    COPE:面向 MoE 卸载策略的可组合性能仿真器

    COPE 是一种面向 MoE 卸载策略的仿真器,可在集成前为目标模型与硬件平台选出最佳卸载策略。它包含 Policy Matrix 和 Virtual Heterogeneous Machine 两大组件,通过解构设计空间衍生出 4 个新候选策略并估算性能。相比基线,COPE 将最快策略选择准确率提升 24%-100%,性能预测误差降低 1.7x 至 6.8x,策略实现工作量减少最多 74%。

  26. arXiv cs.LG39

    Packed-SS:基于扩散草稿的单调用自推测解码机制

    Packed-SS 提出了一种自推测解码调度机制,通过让扩散起草器提前一步运行,在单次模型调用中同时完成草稿生成与验证。该方案将输入大小维持在推测宽度的线性级别,且完全保持目标模型的输出分布。在 Nemotron 3B/8B 和 SetDLM 1.7B 上的贪婪解码实验表明,Packed-SS 相比基线取得了更高的吞吐量与更短的平均耗时。

  27. arXiv cs.LG34

    面向引导投机推理的多重重要性采样

    研究提出将多重重要性采样(MIS)引入引导投机推理(GSI),通过多个较小大语言模型集成生成推理草稿,并由大型基础模型与过程奖励模型联合验证。该方法在理论上证明了平衡启发式(balance heuristic)的最优性,并在保持总样本数不变的同时维持了 pass-at-N 性能,有效解决了单一起草模型支撑集未能覆盖目标分布时的失效问题。

  28. arXiv cs.LG34

    具有共享 KV Cache 的 LSTM 风格循环 Transformer

    研究提出一种在循环核心中共享 KV cache 的 LSTM 风格循环 Transformer,在 1024 宽度下参数量减少 40.4%,持久缓存集从 15 个降至 4 个。为解决并行训练与递归生成的缓存不匹配,该方法在训练后 10% 引入一致性损失,在 FineWeb 上消除了 81%–89% 的延续损失惩罚。在 1.05B–4.19B 训练 token 下,权重绑定的损失代价在低预算时更小。

  29. arXiv cs.LG34

    面向动力系统时间序列的 CLOCK 聚类方法

    研究提出面向动力系统时间序列聚类的 CLOCK 方法,通过时间平均 occupation kernel 将序列嵌入 RKHS 进行轨迹比较。该方法利用 Takens 嵌入定理重构相空间,原生支持不等长轨迹与不规则采样,度量可逼近吸引子间的 MMD。结合谱聚类,CLOCK 在合成与真实颅内大规模 EEG 数据集上优于基线方法,且对零均值高斯噪声具备强鲁棒性。

  30. arXiv cs.LG39

    生成式扩散模型训练的信息论缩放定律

    一项新研究提出了生成式扩散模型训练的信息论缩放定律,利用可计算的“模型信息”指标刻画模型输出对具体训练集的依赖关系。研究揭示了模型经历从纯记忆过渡到不完全泛化的非线性阶段,以及模型信息线性缩放且样本质量持续改善的泛化阶段。基于该理论导出的记忆与样本质量缩放定律具备良好的域外外推能力,相关代码已在 GitHub 开源。

  31. arXiv cs.LG33

    基于局部稳定性样本选择的增强引导对抗训练

    研究者提出增强引导对抗训练框架 AGAT,利用轻量化局部稳定性评分 ALS 筛选邻域不稳定的样本进行对抗训练。在 MNIST、CIFAR-10、CIFAR-100 和 Tiny-ImageNet-200 上的实验表明,AGAT 仅对每个 minibatch 中 20-30% 的样本应用对抗监督,即取得相当或更高的鲁棒准确率,且训练时间少于所有基线方法。

  32. arXiv cs.LG34

    MLIPDiff:利用机器学习原子间势引导扩散模型进行药物设计

    MLIPDiff 通过机器学习原子间势模型 UMA 在推理阶段引入物理引导,无需重新训练即可消除预训练扩散模型在药物设计中的蛋白质-配体碰撞。该方法结合四项加权能量项,在 CrossDocked2020 上完全消除碰撞并保持局部几何结构,在 Vina Score 等指标上超越基础模型与 NucleusDiff,中位数 59.6% 的配体结合力强于参考分子。

  33. arXiv cs.LG32

    预训练容量何时有益于因果学习?从标量预测到反事实后训练

    一项基于千问(Qwen 2.5)的研究探讨了预训练容量对因果学习的影响,发现模型规模从 0.5B 扩至 1.5B 对标量估计结果不一,但显著改善了生成表现。经反事实后训练等完整流程后,CodeGen pass@1 从 0.267 提升至 0.575,干预效果分数由 0.231 升至 0.515。此外,0.5B CausalLLM 的叙述性输入比表格输入将平均 sqrt(PEHE) 改善 3.4%。

  34. arXiv cs.LG29

    树深度与样本质量相关特征:RNA-Seq 数据分类中 Boruta 选择的两个隐藏因素

    一项研究发现,RNA-Seq 数据分类中 Boruta 推荐的 3 至 7 层浅树会严重误导基因筛选,在泛癌数据中使确认基因减少 3.5 倍。深度 5 的 50 基因面板平衡准确率从 0.889 降至 0.809,且约三分之一候选特征与类内样本质量挂钩。作者建议对树深不设限或设为实际树深的 60% 至 75%,并在 Boruta 前执行类内质量过滤。

  35. arXiv cs.LG42

    All-in-One:针对 LLM 转换的可组合攻击

    All-in-One 攻击框架可同时针对量化、剪枝和模型合并等多种 LLM 部署转换,当用户应用其中任意一种转换时即可触发恶意行为。该方法将各类转换近似为模型权重扰动,在训练迭代中联合优化原始模型的良性损失与模拟转换模型的恶意损失。实验表明,该攻击在多种攻击场景、模型族和部署转换中均实现了高成功率。

  36. arXiv cs.LG32

    基于局部预测一致性的个体公平性研究

    研究提出基于局部预测一致性的机器学习个体公平性框架,作为传统成对约束的节点级松弛方案。该方法将单点预测与其局部邻域的相似度加权平均值比对,生成可解释的节点级公平性评分及基于局部残差的正则化学习机制。该方案适用于二分类、回归和事件发生时间预测,并通过图覆盖诊断优化邻域图构建与性能权衡。