跳到正文

#论文/研究

今日 0 条
10月31日周六
  1. arXiv cs.LG34

    基于相对动作信用学习跳出强化学习局部极小值

    研究提出一种通过动作条件价值 critic 扩展 PPO 的方法,通过对比同状态下的备选动作进行相对动作信用分配,以帮助强化学习策略跳出局部极小值。该方法结合广义优势估计(GAE)与探索噪声边界,解决了状态价值 critic 缺乏动作区分度导致的策略停滞问题。在相同的训练预算与探索设置下,扩展算法成功完成了精密插孔(peg insertion)任务,而标准 PPO 则训练失败。

  2. arXiv cs.LG33

    基于可穿戴加速度计数据特征检测脑癌进展

    研究人员利用粗糙路径特征(rough path signatures)分析腕戴加速度计数据,成功区分了高级别胶质瘤(HGG)的稳定期与疾病进展期。该方法将 BrainWear 研究患者数据转化为步行路径片段,并通过 SigMMD 及患者个性化归一化量化行走行为变化,为神经肿瘤学提供了连续监测肿瘤进展的候选数字生物标志物。

  3. arXiv cs.LG40

    测得还是真实?模型衍生测量指标何时可被校正或比较

    针对随机种子和 prompt 导致模型指标波动的现象,该研究提出基于置信上限的有界校正规则,在 500 个模拟单元下将误差减半以上。研究发现 prompt 设置会反转模型排名(如 ARC 上 Qwen2-1.5B 与 Llama-3.2-3B 胜负易位),对此取平均可解决 16 次反转中的 15 次,且跨种子对齐 embedding 坐标将每维信度从 0.003 提高到 0.813。

  4. arXiv cs.LG34

    地震基础模型是否只是美化版的特征提取器?

    研究表明当前地震基础模型本质上仍是特征提取器,改变自监督目标只会重新分配下游技能而非全面提升性能。团队基于 Mamba 架构与 3M 窗口数据测试了 9 种模型设计,发现增加掩码压力虽使少样本 P 波拾取精度提升 6.9 点,却导致少样本分类准确率下降 9.6 点。研究指出其核心瓶颈在于单一窗口目标无法覆盖跨事件的长时间尺度。

  5. arXiv cs.LG37

    序列微调中如何保持模型安全:重放机制的析因与几何分析

    针对 Mistral-7B 与 Llama-3-8B 序列 LoRA 微调的研究表明,Logit 蒸馏相比监督重放能以更低代价维持模型安全对齐。在 Mistral 上,监督重放虽使 HarmBench 攻击成功率降低 51.1 分,但导致过度拒绝激增 53.4 分;Logit 蒸馏仅增加 5.1 分过度拒绝即实现 5.4 分攻击降幅。结合两种策略可兼顾安全性并缓解过度拒绝。

  6. arXiv cs.LG35

    探索将预训练全原子表征泛化至统一结合剂设计

    研究团队提出参数高效方法 PairFuse,通过轻量级逐层适配器将预训练全原子表征融合至几何潜在扩散模型中,以实现统一结合剂设计。该方法通过丰富分子块特征并将成对结构信息融入去噪器,在理论上保证了几何对称性并提升了注意力表达能力。在抗体、多肽和小分子结合剂设计基准测试中,PairFuse 表现均优于原扩散模型及现有表征融合基线。

  7. arXiv cs.LG33

    面向非静脉 ICD 筛查的深度学习:定制神经网络架构、扩展实验与可解释性分析

    AmpRatioNet 是直接处理心电图信号的 1D 卷积神经网络,用于非静脉植入式心律转复除颤器(ICD)的 24 小时动态筛查以降低过度感知风险。基于 89 名患者的 4,605 个标注片段测试,AmpRatioNet-SE 各项指标均表现最优,易过度感知片段的误差增幅比传统算法小最多 14 倍。该方案突破了 S-ICD 的单次 10 秒筛查限制,并为 EV-ICD 提供了可行筛查路径。

  8. arXiv cs.LG28

    基于粗网格图神经网络预测参数化非定常流动稀疏观测值

    新研究提出直接在粗网格上部署图神经网络(GNN)的降阶模型,无需全状态重构即可准确预测参数化非定常流动的稀疏探针与积分量。该方法表现达到甚至优于细网格代理模型,且借助频谱自适应采样将最大误差较均匀采样降低一个数量级。在训练成本更低的同时,其长时预测效果超越了参数化 DMD、U-Net 与傅里叶神经算子。

  9. arXiv cs.LG33

    可分性不等于可对齐性:质谱到分子检索的表征研究

    该研究在 MassSpecGym 基准上评估了通过对齐冻结质谱编码器与分子编码器进行检索的范式,指出表征的可分性并不等同于可对齐性。研究证明未接触分子结构的质谱预训练目标无法建立分子间度量关系,且基于候选分子的目标会奖励与质谱无关的诱饵先验。实验表明最终解决数据稀缺的并非架构设计,模拟质谱的效果超越了冻结几何结构。

  10. arXiv cs.LG34

    探究 MLP 与 Transformer 在噪声 k-parity 特征上的归纳偏置

    一项研究表明,Transformer 与 MLP 在处理噪声 k-parity 特征时表现出截然相反的归纳偏置:Transformer 对噪声特征更具鲁棒性但难以学习复杂的低可用性特征,MLP 则相反且能随数据增加稳步提升。在固定训练预算下,增加训练样本数量会显著减缓 Transformer 的优化速度并降低最终准确率,导致较小数据集的表现反倒更优。

  11. arXiv cs.LG28

    PDE 仿真器在多材料多物理场模拟问题中的应用研究

    研究人员在多材料计算物理任务中评估了多种基于计算机视觉的 PDE 代理模型,发现适配 Transformer 等预训练架构面临显著实现挑战。针对多物理场与多材料数据集,该研究强调了开发适用于稀疏及不平衡数据算法、改进空间编码和物理一致性度量的必要性,同时指出了降低训练数据生成成本的关键方向。

  12. arXiv cs.LG33

    ACTS-WM:面向时间序列的自监督潜动作条件世界模型

    研究人员提出时间序列分析框架 ACTS-WM,无需显式标注即可推断序列转换背后的隐式动作,构建自监督潜动作条件世界模型。该框架结合 JEPA 编码器与动作条件世界模型,基于学得的潜动作及任务信息预测目标时间序列表示。在 22 个跨领域数据集的 4 类预测与分类任务评估中,ACTS-WM 相比预训练 JEPA 编码器取得了更优的下游性能。

  13. arXiv cs.LG34

    SAG-Sep:基于稀疏增强图与洋葱引导搜索的圆整容量割分离

    SAG-Sep 割平面分离器通过单次编码器前向传递对圆整容量割(RCC)节点打分,避免了迭代粗化推理。其采用稀疏增强图编码长程路径结构,并配合免训练的 Onion-Sweep 解码器快速生成结构化候选割。在 N=1000 的 NeuralSEP 基准中,SAG-Sep 相比最强基线将平均根节点差距降低 17.7%,每轮神经分离速度提升约 30 倍。

  14. arXiv cs.LG32

    生成流中保持边缘分布速度场的有限步几何

    针对生成流中诱导相同连续边缘演化的不同速度场在数值离散化后表现不同的现象,新研究通过投影修正方程表征了改变边缘分布律的局部积分误差,并给出了获得更高边缘收敛阶的充分条件。研究进一步推导了仿射固定形状分布的有限步可达性与紧致 Wasserstein 误差,并针对扩散概率流 ODE 构造了可量化得分误差泄漏的斜得分扰动。

  15. arXiv cs.LG35

    Bi-Phase Training:高效从零预训练

    研究团队提出参数高效预训练方法 Bi-Phase Training(BPT),能在显著减少可训练参数的同时保持全参数优化的高秩动态。在基于 FineWeb-Edu(10B 和 100B tokens)从零预训练 Qwen2.5(100M 至 1.5B)与 OLMo-2-1B 时,BPT 在 1.5B 规模下减少了 66% 可训练参数,取得接近全参数基线的验证困惑度与下游任务表现。

  16. arXiv cs.LG40

    面向核聚变的生成建模:仿星器快离子模拟大规模基准 BoSS

    研究人员推出首个仿星器引导中心模拟的大规模基准数据集 BoSS,以利用机器学习加速核聚变装置设计。该数据集包含 180,000 个不同磁流体动力学平衡构型及其模拟结果与轨迹。研究团队据此开展了用于生成优良粒子约束设计的生成建模,以及预测热沉积模式和粒子轨迹的代理模型任务。

  17. arXiv cs.LG25

    SAC-GCL:面向图对比学习的结构感知压缩

    SAC-GCL 提出了一种用于图对比学习的结构感知压缩框架,通过结构分解提取高内聚子图并压缩为超节点,构建保留局部密度与高阶宏观结构的粗化图视图。该框架利用多种内聚子图模型生成互补视图,并通过分层视图编码器处理多分辨率信息。在 6 个基准数据集上的实验表明,该方法相比随机扰动能生成更鲁棒且具判别力的图表征。

  18. arXiv cs.LG33

    nn-EQL:面向高维材料数据的可解释神经方程学习

    研究者提出方程学习框架 nn-EQL,通过自定义激活函数的神经网络迭代训练、剪枝与重训练,从高维材料数据中发现紧凑且可解释的方程。该框架借助受最小描述长度(MDL)启发的评分权衡误差与稀疏度,支持逐项贡献、敏感度与不确定性诊断。团队已在 AI-Feynman 基准、异质材料有限元模拟及高通量薄膜沉积数据上验证了其有效性。

  19. arXiv cs.LG35

    利用超参数迁移与模型集成改进数据受限缩放

    研究提出结合超参数迁移幂律与集成缩放法则的方案,解决了大语言模型在数据受限缩放下超参数固定与忽视集成的局限。在 FineWeb 的 100M tokens 上训练,该方案比以往方法降低验证损失超 0.15 nats,困惑度降低 14%,并通过集成实现了性能单调提升。相关规则从小规模运行中拟合,并在高达 12 倍算力预算下完成验证。

  20. arXiv cs.LG35

    通过循环实现深度:迈向超高效端侧 ASR

    研究人员提出一种块循环 ASR 架构,通过权重共享的循环块替代参数化深度,以减少一个数量级的参数实现超高效端侧语音识别。在 Open ASR Leaderboard 基准测试中,仅含两个共享块的模型平均可恢复大模型 97.4% 的准确率。该架构复用权重以降低内存访问与推理能耗,并支持轻量级 MoE-LoRA 适配以实现低成本端侧个性化。

  21. arXiv cs.LG29

    基于成员查询学习最小化利益相关者违背的抽奖方案

    针对多版本 AI 混合部署中不同利益相关者标准冲突的问题,NeurIPS 2026 论文提出通过二元成员查询寻找混合方案,以最小化拒绝的主体数量。理论证明该问题为 APX-hard,但在候选版本数 $m$ 为常数时存在多项式时间精确算法。当仅能均匀抽样部分主体时,还可通过线性规划提供样本量与总体规模 $n$ 无关的理论保证。

  22. arXiv cs.LG35

    无时钟学习:分区不变神经网络

    研究人员提出无时钟分区不变神经网络及 Clock-Free Event(CFE)层,通过时间介导非对易(TM)模型使异步事件流处理摆脱分帧切片依赖并保持时序敏感性。CFE 层的计算复杂度随事件数呈线性增长。在初步实验中,TM 状态在 DVS128 Gesture 上比加性状态高出 3.5-9.1 分,在 SHD 与 Speech Commands 上分别领先 24.5 和 30.6 分。

  23. arXiv cs.LG26

    面向医学影像的负责任量子机器学习:针对敏感子群的公平性审计

    研究对医学影像分类中的经典与量子分类器(QSVM、QCNN)展开公平性审计,证实量子机器学习并不天然公平,在取得竞争性总体性能的同时仍存在敏感子群差异。在 DDI 皮肤病和 CheXpert 数据集上测试 GRL 与 Equalized Odds 正则化等方案显示,QSVM 结合两者在 DDI 上的权衡接近 PanDerm,但部分配置因损失全局判别力而不具临床可接受性。

  24. arXiv cs.LG38

    辐条而非圆环:重新审视大语言模型中的星期流形

    一项针对大语言模型星期流形的研究发现,其概念表征并非连续圆环,而是呈环状排列的 7 个离散状态。局部敏感度在 7 个星期处存在极小值,使得沿流形引导时呈现阶梯状映射,且中间过渡空间并未表征具体时间、不确定性或自然文本。该结果挑战了概念流形连续变化的假设,促使学界重新审视沿表征流形移动的实际含义。

  25. arXiv cs.LG34

    贝叶斯优化中针对先验数据拟合网络(PFN)的各向异性置信域扭曲

    针对贝叶斯优化中先验数据拟合网络(PFN)在目标函数长度尺度偏离元训练先验时的性能下降,研究提出各向异性置信域(ATR)扭曲方法。该方法利用核目标对齐估计各维度长度尺度并对输入空间进行仿射缩放,在无需重训网络且保持 $\mathcal{O}(d \cdot N^2)$ 推理成本的前提下修正错配。在 Matérn-3/2 核测试中,该方法改善了 PFN 在极端长度尺度下的优化表现,代码已开源。

  26. arXiv cs.LG35

    Predicate Neuron:基于梯度学习的谓词关系可微量化

    研究人员提出 Native Predicate Neuron,通过一阶逻辑量化为标准深度架构引入可微符号推理能力。该神经元用单一可训练参数建模关系逻辑,在执行硬逻辑操作的同时保持反向传播可微,可有效逼近非连续函数。实验表明其在 CNN、RNN 和 Transformer 等架构上显著加速收敛并提升准确率,现已支持 Keras 与 PyTorch。

  27. arXiv cs.LG27

    神经偏微分方程发现中的阈值兼容性与支撑集选择诊断

    神经网络偏微分方程(PDE)发现研究推导出中位数/样本标准差阈值的精确双信号保留边界与完全向量扰动界,指出高精度回归在支撑集选择后仍可能丢失正确方程。在 4 条未使用解析轨迹的全部 240 次物理残差对比中,给定真实支撑集的估计均优于未更改的被选方程。该系列有限诊断方法可明确区分阈值不兼容、重拟合破坏与评分剔除。

  28. arXiv cs.LG47

    权重更新带来了什么:跨大语言模型训练阶段的 Leverage 分析

    研究提出 Leverage 指标衡量单位权重更新的收益,发现模型不同训练阶段的更新效能跨越四个数量级。Olmo-3 和 Tülu-3 等测试显示,预训练效能处于随机水平,SFT 为随机水平 5 倍,RLVR 为 400-1,500,DPO 则达 400-23,000。若缺少 fp32 主副本,bf16 训练会冻结 36-99% 坐标并将 Leverage 降低多达 7 倍。

  29. arXiv cs.LG30

    面向噪声深度学习的动量引导优化器:MGO-SC 作为 Adam 式更新的一致性门控

    轻量优化器 MGO-SC 通过梯度符号指数移动平均构建坐标级一致性门控,对符号波动的坐标降权以改进 Adam 类算法在噪声下的更新稳定性。其均值保持变体在 CIFAR-10 和 ResNet-18 测试中,于 40% 对称标签噪声下较 AdamW 基准提升 1.4 个百分点(Wilcoxon p<0.01)。该方法无需二阶信息或逐样本过滤,代码与原始日志已开源。

10月30日周五
  1. 科学网31

    南信大团队探索高分辨率气象资料同化新方案

    南京信息工程大学邹晓蕾团队提出高分辨率气象资料同化新方案,重点探讨了卫星观测与气象深度学习的融合路径。研究建议建立AI物理参数化模型并引入四维变分资料同化(4D-Var)系统,以应对数千米至数百米分辨率下的动力与物理约束瓶颈。该思路推动资料同化与AI双向赋能,旨在进一步提升热带气旋等复杂天气系统的预报能力。

  2. arXiv quant-ph29

    量子学习中自适应局部测量可指数级超越非自适应全局测量

    研究表明,在单副本且无量子存储的量子学习中,自适应局部测量相比允许任意全局测量的非自适应协议可取得指数级优势。通过单量子比特测量与一轮自适应,自适应协议在固定精度下仅需对数级样本副本数,而所有非自适应协议均需指数级副本。该量子态完全可分离且无需纠缠,证实测量不相容性可作为一种被经典反馈利用的独立量子学习资源。

  3. arXiv quant-ph26

    利用神经网络推断量子态传输次数

    研究表明仅凭传输数据即可利用前馈神经网络推断重复量子态传输(QST)中的信道使用次数。在单次使用未重置的 XX 自旋链信道时,输入发送与接收的 Bloch 向量,网络识别信道使用次数的准确率超过 90%。若进一步结合信道的 U(1) 对称性采用两分量表征,该分类准确率可提升至约 95%。

  4. arXiv quant-ph26

    有限探测事件记录下光学量子态分类:零拍探测与外差探测对比

    针对有限探测事件记录下 7 类光学量子态的神经网络分类,外差探测在小样本条件下表现优于基于重构的零拍探测。在 N=100 个探测事件和 20% 去相位噪声下,外差探测对卷积神经网络的分类准确率比采用滤波反投影重构的零拍探测高出 14.1 个百分点。但在 N=10^3 及以上事件量,或零拍网络不经重构直接处理数据时,两者性能未呈现显著差异。

  5. arXiv quant-ph27

    量子线性组合中的贫瘠高原:干涉与李代数控制

    该研究针对量子酉算子线性组合(LCU)分析贫瘠高原问题,证明单次 LCU 的总梯度方差至少为分支方差乘以系数幅度的四次方,无需 Haar 随机假设。作者推导了量化分支干涉贡献的精确梯度公式,在 4-qubit matchgate 示例中展示了多项式方差及联合 Haar 采样下的指数集中,并给出了李代数控制与误差界。