跳到正文

#论文/研究

今日 0 条
10月29日周四
  1. arXiv cs.LG34

    基于物理正则化 flow matching 从 PM2.5 临近预报气溶胶粒径分布

    研究提出基于 24h 的 PM2.5 记录及 8 个气象参数,利用生成式模型临近预报小时级气溶胶粒径分布(PSD)。在芬兰森林与城市站点的测试中,flow matching 表现最佳,其引导变体取得了最低的连续分级概率评分(CRPS)。引入简化气溶胶通用动力学方程(GDE)物理约束可使训练站点 CRPS 降低 5.5-11.5%,并有效降低跨站点迁移误差。

  2. arXiv cs.LG22

    用于靶细胞分类的高维人类基因评分数据聚类

    一项针对完整人类基因评分数据集及激酶基因子集的研究表明,在 769 个特征下使用多种聚类算法分析时,最优聚类数均为 2。该研究对比了直接删除缺失值与按 20% 阈值结合均值填充两种策略,并在标准化与 PCA 降维后测试了 K-Means、层次聚类、Fuzzy C-Means 及图聚类,各场景均取得了相对较高的 Silhouette 分数。

  3. arXiv cs.LG32

    递归自主智能体的集体协作

    针对智能工厂跨层级生产协调难题,研究提出了递归自主智能体(RAA)的集体协作框架。该框架依托通用任务与能力接口,实现生产目标的自顶向下递归分解以及能力的自底向上对等聚合,使复合单元能作为同类智能体接入更高层组织。方案涵盖叶单元与复合单元组织模型,并在集成加工、检测和物流的多车间生产网络中完成实例化验证。

  4. arXiv cs.LG26

    面向超图级分类的重叠感知子超图模式频率方法

    该研究提出用于超图级分类的重叠感知子超图模式频率方法,通过引入超边交集重叠标签并以挖掘模式的相对频率构建特征表示。在 DHG-Bench 的 6 个数据集中,该方法在 5 个数据集上的平均 Macro-F1 超越此前最佳表现,Twitter-Friend 和 Steam-Player 分别提升 18.67 和 10.02 点;消融实验证实去除重叠标签会导致 Macro-F1 下降 4 至 9 点。

  5. arXiv cs.LG29

    FedSEAM:基于子空间专家一致性合并的大语言模型联邦持续学习框架

    FedSEAM 提出了一种大语言模型联邦持续学习框架,通过将任务知识组织为稀疏专家并在任务与客户端间选择性共享内容。客户端通过子空间兼容性测试决定专家复用与扩容,服务端借助 SEAM 仅沿共识方向合并更新,并针对路由漂移和合并擦除提供保护机制。该方法已在 TRACE 基准上使用 Qwen3-4B 和 Llama-3.2-3B 完成验证。

  6. arXiv cs.LG34

    RBGA:面向灵巧操作的离线到在线安全强化学习剩余预算引导仲裁算法

    研究团队提出 RBGA 算法,通过显式跟踪回合内剩余安全预算,解决灵巧操作在离线到在线安全强化学习中的探索安全性问题。该方法在每一步对比离线引导动作与在线策略动作的未来代价估计与剩余预算,实现动态动作仲裁。实验表明 RBGA 能在维持高安全表现的同时有效实现在线策略提升,相关代码已开源。

  7. arXiv cs.LG34

    多任务模型合并的误差子空间校准框架 ESCal

    研究人员提出多任务模型合并校准框架 ESCal,通过专家与合并模型的权重差异识别低维误差子空间,以精确定位并修正特征方向。该方法在中间块边界通过 bridge 模块计算加性修正,保持子空间基底固定且仅学习线性映射,参数效率极高。视觉与自然语言理解基准测试显示,ESCal 仅需小规模校准集即可跨多种模型架构与合并方法提升性能。

  8. arXiv cs.LG36

    CD-FFM:基于似然泛函流匹配的气候降尺度模型

    研究人员提出气候降尺度模型 CD-FFM,将高分辨率场作为连续随机场建模,支持在任意位置与分辨率查询并具备精确似然。在将 ERA5 降尺度至 1 km 日气温任务中,其 CRPS 较回归方法降低 27-31%,比参数量大 40 倍的神经算子降低 12-18%,效果优于 CorrDiff 风格扩散模型且采样速度快约 50 倍,同时可迁移至降水预测。

  9. arXiv cs.LG29

    FG-ConvNO:用于螺旋桨 CFD 预测的几何感知神经算子

    研究者提出分解几何卷积神经算子(FG-ConvNO),用于在有限训练数据下实现螺旋桨 CFD 表面压力与全局推力的稳健预测。该架构引入几何感知编码、高效插值解码与辅助全局物理量监督,并结合 DISCO 模块以实现离散化无关。实验表明,FG-ConvNO 在程序生成的螺旋桨数据集上取得了表面压力与全局推力预测的最高精度。

  10. arXiv cs.LG38

    从智能走向自主:面向未来智能系统的自主智能体基础与构建

    该研究提出了自主智能体(autonomous agent)的理论定义与“单一边界、四环路”构建框架,通过操作、生存、反思与学习四条环路分别组织任务执行、自我维持、元控制及受控学习。论文进一步完成了权限约束、道路封闭响应、健康维护、能力重估与跨任务学习 5 组配对仿真实验,为上述机制的可行性提供了初步验证。

  11. arXiv cs.LG31

    数据清洗后的精确机器遗忘

    新研究针对数据清洗管线提出精确机器遗忘(Exact Unlearning)方法与数据保留契约,解决删除原始记录导致此前被排除样本重新入选的问题。该方案依据设定的未来删除上限构建训练统计摘要,支持在多次删除请求后精确修复并用于岭回归等模型。在 1,001 条 AskUbuntu 开发记录测试中,精确成员修复成功通过了 13,056 次删除步骤检查。

  12. arXiv cs.LG42

    强化学习缩放定律实证研究

    一项针对 actor-critic 算法的实证研究建立了强化学习(RL)缩放定律,可在训练算力跨越两个数量级时准确预测性能、最优资源分配与超参数配置。研究采用单智能体 Elo 分数替代传统的平均单局回报,显著提升了规律的可预测性,并据此扩大训练算力在 Craftax 环境中刷新 SOTA。

  13. arXiv cs.LG25

    动作相关观测下开环、确定性等价与最优控制的性能差距

    研究在动作相关观测的线性二次双线性观测系统中,分析了最优策略、确定性等价(CE)控制与最优开环(OL)控制的性能差距。基于提出的信息强度参数 $q$,证明当 $q$ 处于中间区间时,主动探测信息的策略能比 OL 取得 $\Omega(T)$ 优势,而 CE 仅获 $O(1)$ 优势,确立了 CE 与最优控制间存在 $\Omega(T)$ 的性能差距。

  14. arXiv cs.LG33

    COPE:面向 MoE 卸载策略的可组合性能仿真器

    COPE 是一种面向 MoE 卸载策略的仿真器,可在集成前为目标模型与硬件平台选出最佳卸载策略。它包含 Policy Matrix 和 Virtual Heterogeneous Machine 两大组件,通过解构设计空间衍生出 4 个新候选策略并估算性能。相比基线,COPE 将最快策略选择准确率提升 24%-100%,性能预测误差降低 1.7x 至 6.8x,策略实现工作量减少最多 74%。

  15. arXiv cs.LG39

    Packed-SS:基于扩散草稿的单调用自推测解码机制

    Packed-SS 提出了一种自推测解码调度机制,通过让扩散起草器提前一步运行,在单次模型调用中同时完成草稿生成与验证。该方案将输入大小维持在推测宽度的线性级别,且完全保持目标模型的输出分布。在 Nemotron 3B/8B 和 SetDLM 1.7B 上的贪婪解码实验表明,Packed-SS 相比基线取得了更高的吞吐量与更短的平均耗时。

  16. arXiv cs.LG34

    面向引导投机推理的多重重要性采样

    研究提出将多重重要性采样(MIS)引入引导投机推理(GSI),通过多个较小大语言模型集成生成推理草稿,并由大型基础模型与过程奖励模型联合验证。该方法在理论上证明了平衡启发式(balance heuristic)的最优性,并在保持总样本数不变的同时维持了 pass-at-N 性能,有效解决了单一起草模型支撑集未能覆盖目标分布时的失效问题。

  17. arXiv cs.LG34

    具有共享 KV Cache 的 LSTM 风格循环 Transformer

    研究提出一种在循环核心中共享 KV cache 的 LSTM 风格循环 Transformer,在 1024 宽度下参数量减少 40.4%,持久缓存集从 15 个降至 4 个。为解决并行训练与递归生成的缓存不匹配,该方法在训练后 10% 引入一致性损失,在 FineWeb 上消除了 81%–89% 的延续损失惩罚。在 1.05B–4.19B 训练 token 下,权重绑定的损失代价在低预算时更小。

  18. arXiv cs.LG34

    面向动力系统时间序列的 CLOCK 聚类方法

    研究提出面向动力系统时间序列聚类的 CLOCK 方法,通过时间平均 occupation kernel 将序列嵌入 RKHS 进行轨迹比较。该方法利用 Takens 嵌入定理重构相空间,原生支持不等长轨迹与不规则采样,度量可逼近吸引子间的 MMD。结合谱聚类,CLOCK 在合成与真实颅内大规模 EEG 数据集上优于基线方法,且对零均值高斯噪声具备强鲁棒性。

  19. arXiv cs.LG39

    生成式扩散模型训练的信息论缩放定律

    一项新研究提出了生成式扩散模型训练的信息论缩放定律,利用可计算的“模型信息”指标刻画模型输出对具体训练集的依赖关系。研究揭示了模型经历从纯记忆过渡到不完全泛化的非线性阶段,以及模型信息线性缩放且样本质量持续改善的泛化阶段。基于该理论导出的记忆与样本质量缩放定律具备良好的域外外推能力,相关代码已在 GitHub 开源。

  20. arXiv cs.LG33

    基于局部稳定性样本选择的增强引导对抗训练

    研究者提出增强引导对抗训练框架 AGAT,利用轻量化局部稳定性评分 ALS 筛选邻域不稳定的样本进行对抗训练。在 MNIST、CIFAR-10、CIFAR-100 和 Tiny-ImageNet-200 上的实验表明,AGAT 仅对每个 minibatch 中 20-30% 的样本应用对抗监督,即取得相当或更高的鲁棒准确率,且训练时间少于所有基线方法。

  21. arXiv cs.LG34

    MLIPDiff:利用机器学习原子间势引导扩散模型进行药物设计

    MLIPDiff 通过机器学习原子间势模型 UMA 在推理阶段引入物理引导,无需重新训练即可消除预训练扩散模型在药物设计中的蛋白质-配体碰撞。该方法结合四项加权能量项,在 CrossDocked2020 上完全消除碰撞并保持局部几何结构,在 Vina Score 等指标上超越基础模型与 NucleusDiff,中位数 59.6% 的配体结合力强于参考分子。

  22. arXiv cs.LG32

    预训练容量何时有益于因果学习?从标量预测到反事实后训练

    一项基于千问(Qwen 2.5)的研究探讨了预训练容量对因果学习的影响,发现模型规模从 0.5B 扩至 1.5B 对标量估计结果不一,但显著改善了生成表现。经反事实后训练等完整流程后,CodeGen pass@1 从 0.267 提升至 0.575,干预效果分数由 0.231 升至 0.515。此外,0.5B CausalLLM 的叙述性输入比表格输入将平均 sqrt(PEHE) 改善 3.4%。

  23. arXiv cs.LG29

    树深度与样本质量相关特征:RNA-Seq 数据分类中 Boruta 选择的两个隐藏因素

    一项研究发现,RNA-Seq 数据分类中 Boruta 推荐的 3 至 7 层浅树会严重误导基因筛选,在泛癌数据中使确认基因减少 3.5 倍。深度 5 的 50 基因面板平衡准确率从 0.889 降至 0.809,且约三分之一候选特征与类内样本质量挂钩。作者建议对树深不设限或设为实际树深的 60% 至 75%,并在 Boruta 前执行类内质量过滤。

  24. arXiv cs.LG42

    All-in-One:针对 LLM 转换的可组合攻击

    All-in-One 攻击框架可同时针对量化、剪枝和模型合并等多种 LLM 部署转换,当用户应用其中任意一种转换时即可触发恶意行为。该方法将各类转换近似为模型权重扰动,在训练迭代中联合优化原始模型的良性损失与模拟转换模型的恶意损失。实验表明,该攻击在多种攻击场景、模型族和部署转换中均实现了高成功率。

  25. arXiv cs.LG32

    基于局部预测一致性的个体公平性研究

    研究提出基于局部预测一致性的机器学习个体公平性框架,作为传统成对约束的节点级松弛方案。该方法将单点预测与其局部邻域的相似度加权平均值比对,生成可解释的节点级公平性评分及基于局部残差的正则化学习机制。该方案适用于二分类、回归和事件发生时间预测,并通过图覆盖诊断优化邻域图构建与性能权衡。

  26. arXiv cs.LG36

    Pinterest 自动出价系统中基于强化学习的控制器参数优化

    Pinterest 部署了名为 RLBP 的混合架构,将强化学习作为元控制器每日动态调节 PID 参数,同时保留 PID 负责高频出价。该系统基于多头 Q 网络和推理时融合动态权衡成本与预算交付,无需重新训练。在线 A/B 测试与上线后两个月的对照监测显示,RLBP 在收入不降的前提下显著降低了有效每次点击费用(eCPC)。

  27. arXiv cs.LG35

    Neyman 正交激活导向方法

    该研究提出 Neyman 正交激活导向方法,将大语言模型激活导向形式化为结果回归平均梯度的估计问题,明确区分了目标导向与恢复估计器。该方法将传统二元对比标签扩展至对数概率或 oracle 评分等连续结果,并结合基于 Stein score 的互补估计器,构建出具备双重稳健性的正交化估计器。团队已在多个 benchmark 数据集上验证了该框架的有效性。

  28. arXiv cs.LG35

    多变量时间序列的模型无关可预测性量化

    研究提出模型无关指标 MAPS(Multivariable Predictability Score),用于量化评估多变量时间序列预测任务的内在可预测性。该指标利用协变量信息评估不同回看窗口与预测期下的可预测性,量化预测可用的有效信息。在与 6 种基准指标的对比中,MAPS 在合成数据上与预期参考高度一致(r=0.963),并在多数实验配置中展现出更可靠的评估表现。

  29. arXiv cs.LG28

    更低的期望 Fisher 秩意味着更好的 PAC 泛化能力

    新研究提出一种 Fisher 对齐的参数分布,证明深度学习模型的 PAC 泛化误差界与 Fisher 信息矩阵的期望秩直接相关,期望秩越低泛化表现越好。该方法利用 Fisher 信息度量捕捉功能不变性,在保证低损失的同时实现了与零特征值数量成比例的大参数对数体积,推导出了紧凑的高概率泛化误差界。

  30. arXiv cs.LG36

    CTR 模型重校准应使用多少新鲜数据?事后校准的时序评估

    一项针对 CTR 模型事后校准的研究表明,重校准拟合采用较宽时间跨度优于仅依赖最近数小时的新鲜数据。在 Avazu 数据集上,12 小时拟合切片表现最佳,且降采样至 5% 展示量(拟合加速 20-25x)即可保留完整切片 88% 的增益。此外,离线随机划分将 LR 模型的 ECE 严重低估至时序评估的 55-62%,而在模拟拍卖中重校准仅影响 -0.21% 至 +0.26% 的利润。

  31. arXiv cs.LG34

    Neural-DISCO:神经群体活动的源条件反事实编辑

    Neural-DISCO 是一种解耦表征学习框架,支持在给定源响应下选择性编辑特定行为或刺激标签,以预测反事实神经群体活动变化。该框架将潜在空间划分为标签特定分量与残差分量,在生成反事实响应的同时保留其余观测标签和源特异性变异。结合特征归因方法,它可在单神经元分辨率下识别关键神经元,相关代码已开源。

  32. arXiv cs.LG33

    基于物理信息神经网络求解漂移-扩散方程

    该研究利用物理信息神经网络(PINN)求解半导体漂移-扩散方程,在非平衡态下取得了与传统仿真软件相当的精度。该方案针对具备极端载流子浓度梯度的一维和二维突变 PN 结,在所有偏置条件下均能准确获取各项可观测物理量。此外,该求解器还能在非零偏置下直接从目标电场或电势反演掺杂分布,有效解决半导体建模中的逆问题。

  33. arXiv cs.LG26

    PAI-KNN:面向概念漂移与不平衡数据流的推理时先验自适应

    研究者提出 k 近邻分类器 PAI-KNN,通过在推理时调整先验而非修改记忆,应对概念漂移与类别不平衡下的数据流分类任务。该方法维护简单的滑动窗口缓冲区,利用近期观测得出的类别先验估计动态调整决策规则。在多种合成数据流评测中,PAI-KNN 达到与 SOTA 相当的性能,在动态类别不平衡和概念漂移场景下表现尤为突出。

  34. arXiv cs.LG36

    低资源诊所离线呼吸音筛查中特征缩放效果优于架构选择

    低资源诊所离线呼吸音分类研究表明,特征缩放带来的提升远超模型架构选择。基于 30 个统计特征的 SVM 经标准化后宏召回率从 0.51 跃升至 0.78,表现媲美 1.13M 参数的卷积循环网络(0.75 至 0.77)。在纯 CPU 笔记本上两类模型单片段延迟均为 51 至 74 ms,但经典模型避免了 449 MB 的 PyTorch 运行时依赖。

  35. arXiv cs.LG59

    研究探索 LLM 编写的教训是否会将随机性传递给智能体的后续决策

    一项预注册研究发现,自我改进智能体从偶发失败中总结的教训会误导后续决策,使得选择劣质工具的比例从 0.4% 升至 11.6%。研究在 256 个任务环境中测试了 11 个 LLM 端点的 90,084 次回答,确认优质工具偶然失败后会产生显著的运气传递效应。在提示词中加入决策质量说明或保持现状选项,可将劣质工具选择率分别降至 7.5% 和 3.1%。