跳到正文

#论文/研究

今日 0 条
10月29日周四
  1. arXiv cs.LG29

    FG-ConvNO:用于螺旋桨 CFD 预测的几何感知神经算子

    研究者提出分解几何卷积神经算子(FG-ConvNO),用于在有限训练数据下实现螺旋桨 CFD 表面压力与全局推力的稳健预测。该架构引入几何感知编码、高效插值解码与辅助全局物理量监督,并结合 DISCO 模块以实现离散化无关。实验表明,FG-ConvNO 在程序生成的螺旋桨数据集上取得了表面压力与全局推力预测的最高精度。

  2. arXiv cs.LG38

    从智能走向自主:面向未来智能系统的自主智能体基础与构建

    该研究提出了自主智能体(autonomous agent)的理论定义与“单一边界、四环路”构建框架,通过操作、生存、反思与学习四条环路分别组织任务执行、自我维持、元控制及受控学习。论文进一步完成了权限约束、道路封闭响应、健康维护、能力重估与跨任务学习 5 组配对仿真实验,为上述机制的可行性提供了初步验证。

  3. arXiv cs.LG31

    数据清洗后的精确机器遗忘

    新研究针对数据清洗管线提出精确机器遗忘(Exact Unlearning)方法与数据保留契约,解决删除原始记录导致此前被排除样本重新入选的问题。该方案依据设定的未来删除上限构建训练统计摘要,支持在多次删除请求后精确修复并用于岭回归等模型。在 1,001 条 AskUbuntu 开发记录测试中,精确成员修复成功通过了 13,056 次删除步骤检查。

  4. arXiv cs.LG42

    强化学习缩放定律实证研究

    一项针对 actor-critic 算法的实证研究建立了强化学习(RL)缩放定律,可在训练算力跨越两个数量级时准确预测性能、最优资源分配与超参数配置。研究采用单智能体 Elo 分数替代传统的平均单局回报,显著提升了规律的可预测性,并据此扩大训练算力在 Craftax 环境中刷新 SOTA。

  5. arXiv cs.LG25

    动作相关观测下开环、确定性等价与最优控制的性能差距

    研究在动作相关观测的线性二次双线性观测系统中,分析了最优策略、确定性等价(CE)控制与最优开环(OL)控制的性能差距。基于提出的信息强度参数 $q$,证明当 $q$ 处于中间区间时,主动探测信息的策略能比 OL 取得 $\Omega(T)$ 优势,而 CE 仅获 $O(1)$ 优势,确立了 CE 与最优控制间存在 $\Omega(T)$ 的性能差距。

  6. arXiv cs.LG33

    COPE:面向 MoE 卸载策略的可组合性能仿真器

    COPE 是一种面向 MoE 卸载策略的仿真器,可在集成前为目标模型与硬件平台选出最佳卸载策略。它包含 Policy Matrix 和 Virtual Heterogeneous Machine 两大组件,通过解构设计空间衍生出 4 个新候选策略并估算性能。相比基线,COPE 将最快策略选择准确率提升 24%-100%,性能预测误差降低 1.7x 至 6.8x,策略实现工作量减少最多 74%。

  7. arXiv cs.LG39

    Packed-SS:基于扩散草稿的单调用自推测解码机制

    Packed-SS 提出了一种自推测解码调度机制,通过让扩散起草器提前一步运行,在单次模型调用中同时完成草稿生成与验证。该方案将输入大小维持在推测宽度的线性级别,且完全保持目标模型的输出分布。在 Nemotron 3B/8B 和 SetDLM 1.7B 上的贪婪解码实验表明,Packed-SS 相比基线取得了更高的吞吐量与更短的平均耗时。

  8. arXiv cs.LG34

    面向引导投机推理的多重重要性采样

    研究提出将多重重要性采样(MIS)引入引导投机推理(GSI),通过多个较小大语言模型集成生成推理草稿,并由大型基础模型与过程奖励模型联合验证。该方法在理论上证明了平衡启发式(balance heuristic)的最优性,并在保持总样本数不变的同时维持了 pass-at-N 性能,有效解决了单一起草模型支撑集未能覆盖目标分布时的失效问题。

  9. arXiv cs.LG34

    具有共享 KV Cache 的 LSTM 风格循环 Transformer

    研究提出一种在循环核心中共享 KV cache 的 LSTM 风格循环 Transformer,在 1024 宽度下参数量减少 40.4%,持久缓存集从 15 个降至 4 个。为解决并行训练与递归生成的缓存不匹配,该方法在训练后 10% 引入一致性损失,在 FineWeb 上消除了 81%–89% 的延续损失惩罚。在 1.05B–4.19B 训练 token 下,权重绑定的损失代价在低预算时更小。

  10. arXiv cs.LG34

    面向动力系统时间序列的 CLOCK 聚类方法

    研究提出面向动力系统时间序列聚类的 CLOCK 方法,通过时间平均 occupation kernel 将序列嵌入 RKHS 进行轨迹比较。该方法利用 Takens 嵌入定理重构相空间,原生支持不等长轨迹与不规则采样,度量可逼近吸引子间的 MMD。结合谱聚类,CLOCK 在合成与真实颅内大规模 EEG 数据集上优于基线方法,且对零均值高斯噪声具备强鲁棒性。

  11. arXiv cs.LG39

    生成式扩散模型训练的信息论缩放定律

    一项新研究提出了生成式扩散模型训练的信息论缩放定律,利用可计算的“模型信息”指标刻画模型输出对具体训练集的依赖关系。研究揭示了模型经历从纯记忆过渡到不完全泛化的非线性阶段,以及模型信息线性缩放且样本质量持续改善的泛化阶段。基于该理论导出的记忆与样本质量缩放定律具备良好的域外外推能力,相关代码已在 GitHub 开源。

  12. arXiv cs.LG33

    基于局部稳定性样本选择的增强引导对抗训练

    研究者提出增强引导对抗训练框架 AGAT,利用轻量化局部稳定性评分 ALS 筛选邻域不稳定的样本进行对抗训练。在 MNIST、CIFAR-10、CIFAR-100 和 Tiny-ImageNet-200 上的实验表明,AGAT 仅对每个 minibatch 中 20-30% 的样本应用对抗监督,即取得相当或更高的鲁棒准确率,且训练时间少于所有基线方法。

  13. arXiv cs.LG34

    MLIPDiff:利用机器学习原子间势引导扩散模型进行药物设计

    MLIPDiff 通过机器学习原子间势模型 UMA 在推理阶段引入物理引导,无需重新训练即可消除预训练扩散模型在药物设计中的蛋白质-配体碰撞。该方法结合四项加权能量项,在 CrossDocked2020 上完全消除碰撞并保持局部几何结构,在 Vina Score 等指标上超越基础模型与 NucleusDiff,中位数 59.6% 的配体结合力强于参考分子。

  14. arXiv cs.LG32

    预训练容量何时有益于因果学习?从标量预测到反事实后训练

    一项基于千问(Qwen 2.5)的研究探讨了预训练容量对因果学习的影响,发现模型规模从 0.5B 扩至 1.5B 对标量估计结果不一,但显著改善了生成表现。经反事实后训练等完整流程后,CodeGen pass@1 从 0.267 提升至 0.575,干预效果分数由 0.231 升至 0.515。此外,0.5B CausalLLM 的叙述性输入比表格输入将平均 sqrt(PEHE) 改善 3.4%。

  15. arXiv cs.LG29

    树深度与样本质量相关特征:RNA-Seq 数据分类中 Boruta 选择的两个隐藏因素

    一项研究发现,RNA-Seq 数据分类中 Boruta 推荐的 3 至 7 层浅树会严重误导基因筛选,在泛癌数据中使确认基因减少 3.5 倍。深度 5 的 50 基因面板平衡准确率从 0.889 降至 0.809,且约三分之一候选特征与类内样本质量挂钩。作者建议对树深不设限或设为实际树深的 60% 至 75%,并在 Boruta 前执行类内质量过滤。

  16. arXiv cs.LG42

    All-in-One:针对 LLM 转换的可组合攻击

    All-in-One 攻击框架可同时针对量化、剪枝和模型合并等多种 LLM 部署转换,当用户应用其中任意一种转换时即可触发恶意行为。该方法将各类转换近似为模型权重扰动,在训练迭代中联合优化原始模型的良性损失与模拟转换模型的恶意损失。实验表明,该攻击在多种攻击场景、模型族和部署转换中均实现了高成功率。

  17. arXiv cs.LG32

    基于局部预测一致性的个体公平性研究

    研究提出基于局部预测一致性的机器学习个体公平性框架,作为传统成对约束的节点级松弛方案。该方法将单点预测与其局部邻域的相似度加权平均值比对,生成可解释的节点级公平性评分及基于局部残差的正则化学习机制。该方案适用于二分类、回归和事件发生时间预测,并通过图覆盖诊断优化邻域图构建与性能权衡。

  18. arXiv cs.LG36

    Pinterest 自动出价系统中基于强化学习的控制器参数优化

    Pinterest 部署了名为 RLBP 的混合架构,将强化学习作为元控制器每日动态调节 PID 参数,同时保留 PID 负责高频出价。该系统基于多头 Q 网络和推理时融合动态权衡成本与预算交付,无需重新训练。在线 A/B 测试与上线后两个月的对照监测显示,RLBP 在收入不降的前提下显著降低了有效每次点击费用(eCPC)。

  19. arXiv cs.LG35

    Neyman 正交激活导向方法

    该研究提出 Neyman 正交激活导向方法,将大语言模型激活导向形式化为结果回归平均梯度的估计问题,明确区分了目标导向与恢复估计器。该方法将传统二元对比标签扩展至对数概率或 oracle 评分等连续结果,并结合基于 Stein score 的互补估计器,构建出具备双重稳健性的正交化估计器。团队已在多个 benchmark 数据集上验证了该框架的有效性。

  20. arXiv cs.LG35

    多变量时间序列的模型无关可预测性量化

    研究提出模型无关指标 MAPS(Multivariable Predictability Score),用于量化评估多变量时间序列预测任务的内在可预测性。该指标利用协变量信息评估不同回看窗口与预测期下的可预测性,量化预测可用的有效信息。在与 6 种基准指标的对比中,MAPS 在合成数据上与预期参考高度一致(r=0.963),并在多数实验配置中展现出更可靠的评估表现。

  21. arXiv cs.LG28

    更低的期望 Fisher 秩意味着更好的 PAC 泛化能力

    新研究提出一种 Fisher 对齐的参数分布,证明深度学习模型的 PAC 泛化误差界与 Fisher 信息矩阵的期望秩直接相关,期望秩越低泛化表现越好。该方法利用 Fisher 信息度量捕捉功能不变性,在保证低损失的同时实现了与零特征值数量成比例的大参数对数体积,推导出了紧凑的高概率泛化误差界。

  22. arXiv cs.LG36

    CTR 模型重校准应使用多少新鲜数据?事后校准的时序评估

    一项针对 CTR 模型事后校准的研究表明,重校准拟合采用较宽时间跨度优于仅依赖最近数小时的新鲜数据。在 Avazu 数据集上,12 小时拟合切片表现最佳,且降采样至 5% 展示量(拟合加速 20-25x)即可保留完整切片 88% 的增益。此外,离线随机划分将 LR 模型的 ECE 严重低估至时序评估的 55-62%,而在模拟拍卖中重校准仅影响 -0.21% 至 +0.26% 的利润。

  23. arXiv cs.LG34

    Neural-DISCO:神经群体活动的源条件反事实编辑

    Neural-DISCO 是一种解耦表征学习框架,支持在给定源响应下选择性编辑特定行为或刺激标签,以预测反事实神经群体活动变化。该框架将潜在空间划分为标签特定分量与残差分量,在生成反事实响应的同时保留其余观测标签和源特异性变异。结合特征归因方法,它可在单神经元分辨率下识别关键神经元,相关代码已开源。

  24. arXiv cs.LG33

    基于物理信息神经网络求解漂移-扩散方程

    该研究利用物理信息神经网络(PINN)求解半导体漂移-扩散方程,在非平衡态下取得了与传统仿真软件相当的精度。该方案针对具备极端载流子浓度梯度的一维和二维突变 PN 结,在所有偏置条件下均能准确获取各项可观测物理量。此外,该求解器还能在非零偏置下直接从目标电场或电势反演掺杂分布,有效解决半导体建模中的逆问题。

  25. arXiv cs.LG26

    PAI-KNN:面向概念漂移与不平衡数据流的推理时先验自适应

    研究者提出 k 近邻分类器 PAI-KNN,通过在推理时调整先验而非修改记忆,应对概念漂移与类别不平衡下的数据流分类任务。该方法维护简单的滑动窗口缓冲区,利用近期观测得出的类别先验估计动态调整决策规则。在多种合成数据流评测中,PAI-KNN 达到与 SOTA 相当的性能,在动态类别不平衡和概念漂移场景下表现尤为突出。

  26. arXiv cs.LG36

    低资源诊所离线呼吸音筛查中特征缩放效果优于架构选择

    低资源诊所离线呼吸音分类研究表明,特征缩放带来的提升远超模型架构选择。基于 30 个统计特征的 SVM 经标准化后宏召回率从 0.51 跃升至 0.78,表现媲美 1.13M 参数的卷积循环网络(0.75 至 0.77)。在纯 CPU 笔记本上两类模型单片段延迟均为 51 至 74 ms,但经典模型避免了 449 MB 的 PyTorch 运行时依赖。

  27. arXiv cs.LG59

    研究探索 LLM 编写的教训是否会将随机性传递给智能体的后续决策

    一项预注册研究发现,自我改进智能体从偶发失败中总结的教训会误导后续决策,使得选择劣质工具的比例从 0.4% 升至 11.6%。研究在 256 个任务环境中测试了 11 个 LLM 端点的 90,084 次回答,确认优质工具偶然失败后会产生显著的运气传递效应。在提示词中加入决策质量说明或保持现状选项,可将劣质工具选择率分别降至 7.5% 和 3.1%。

  28. arXiv cs.LG49

    语言模型能在思考时学习吗?测试跨架构梯度自适应

    跨架构测试表明,在 2k 窗口下进行动态梯度更新,可使 softmax 注意力模型(Qwen3-1.7B、Gemma-4-E4B 等)loss 下降 5-8% 并超越 32k 冻结模型,在扩散模型上降幅达 8-20%。但混合 Gated-DeltaNet 模型提升不足 1%;且在 RULER 等基准中,该自适应仅改变风格与词汇而无法恢复检索,直接写入事实还会让 GSM8K 下降 36-38 分。

  29. arXiv cs.LG50

    匹配模型能力:通过技能自适应改进智能体外挂自演化

    研究提出通过技能自适应来改进智能体外挂自演化,解决提升强模型的技能往往会降低弱模型性能的问题。团队针对工具执行与指令遵循等失败模式提炼出固定元技能,指导重写器改写现有技能,让弱执行模型的表现提升 5.1 至 14.1 分。在跨 7 个模型的五轮自演化测试中,结合该元技能的演化循环使最终得分稳定提升 2.0 至 5.1 分。

  30. arXiv cs.AI31

    Noise Steering:利用尾流转向与声学指向性的强化学习风电场控制

    研究提出 Noise Steering 方法,利用无模型强化学习(RL)联合控制风力涡轮机偏航角与功率设定点,在满足区域噪声约束的同时最大化风电场发电量。在 6 台涡轮机测试中,该策略全程满足 40 dB 噪声约束,相比贪婪控制平均功率损失仅 2%,远低于行业标准降噪运行(NRO)基线 17% 的功率损失。

  31. arXiv cs.AI38

    RubricAtlas:从专家报告中挖掘类型级细则以评估深度研究智能体

    RubricAtlas 评估框架通过从专家研报中提取类型级细则,用于系统评测深度研究智能体生成报告的分析完整性。该框架基于 3,079 篇中文金融研报构建并覆盖 99 种研究类型,将二元检查点关联至原文段落,独立评估完整性与论证有效性。在 10 个智能体的测试中,裁判流程取得 $\kappa$ = 0.71 的检查点一致性与 Kendall $\tau$ = 0.87 的排名一致性。

  32. arXiv cs.AI69

    UC 伯克利团队提出 Evolving Agent Teams:通过动态重组突破 GPU 内核优化局部最优

    研究人员提出多智能体框架 Evolving Agent Teams,通过中央监督者诊断局部最优并动态重组智能体团队,结合持久化文件系统积累的演化经验突破复杂工程瓶颈。

    推荐理由:论文针对编程智能体容易陷入局部最优的痛点,提出了通过中央监督者动态重组团队并积累持久经验的通用协作范式。

  33. arXiv cs.AI31

    零和 POSG 的保守策略迭代算法

    一项新提出的近似策略迭代算法解决了有限时域零和部分可观测随机博弈(zs-POSGs)的高维求解难题。该方法无需近似完整中心价值函数,而是利用当前联合策略诱导的单个支撑超平面更新策略,将计算集中在易被利用的占用区域。在基准测试中,相比 PBVI、HSVI 和 CFR+,该算法在大时域下改善了运行时间与可利用性之间的权衡。

  34. arXiv cs.AI42

    RuHarness:协同进化评价准则与外壳以实现 AI 智能体持续自我改进

    研究人员提出 RuHarness 框架,通过协同进化评价准则(rubrics)与外壳(harnesses),解决监督标准静态带来的局限,实现 AI 智能体的持续自我改进。该框架能从执行轨迹中动态发现并重新评估行为准则,优先定位未解决的关键弱点以指导针对性的外壳更新。实验表明,RuHarness 在多项任务与骨干模型上均优于现有基线,尤其在未见保留任务上展现出更稳定的泛化能力。