跳到正文

全部动态

今日 80 条
10月23日周五
  1. arXiv cs.LG34

    一师多视角：降低同策略自蒸馏对参考答案敏感度的新方法

    针对同策略自蒸馏（OPSD）中教师分布过度依赖单一完整参考解答导致的“参考引发目标不稳定”问题，研究人员提出了蒙特卡洛特权蒸馏（MCPD）方法。该方法将特权上下文建模为部分参考视角的分布，评估多视角下的教师分布并在概率空间进行平均，从而蒸馏边缘教师分布。在数学与科学推理基准测试中，MCPD 提供了更具参考一致性的监督，效果持续优于全参考 OPSD。

  2. arXiv cs.LG35

    MOER：基于专家前缀引导与选择性回滚的混合策略优化框架

    MOER 提出一种强化学习混合策略优化框架，通过向 prompt 注入逐步缩短的专家思维链前缀引导自主推理，并借助选择性回滚机制将失败补全替换为完整专家轨迹以保证正确性。该框架结合了用于 on-policy token 的 GRPO 损失与置信域 SFT 损失以稳定训练，在数学和通用推理任务中取得最高平均分，代码已开源。

  4. arXiv cs.LG38

    训练混合单调神经网络以实现无需集合传播的形式化验证

    研究人员提出一种通过单调子网络差值实现混合单调函数的新型神经网络架构，将紧致输出包络的计算简化为输入区间对角顶点的两次简单前向传递，无需复杂的集合传播。该方法在训练期间直接最小化包络大小，在回归和动力系统基准上包络大小可缩减至理论下界 0.5% 以内且不损失预测精度。

  5. arXiv cs.LG34

    权重空间的分岔：参数化动力系统上的 JEPAWG 分析

    研究人员将联合嵌入超网络 JEPAWG 应用于 4 种动力系统构建的模型动物园，通过权重空间分析物理动力学分岔。JEPAWG 的解码权重参数导数范数能定位 Hopf 点与曲线、追踪倍周期分岔级联并定性估计 Feigenbaum 常数，还能检测无特征值特征的全局分岔。其预测性能可匹敌直接针对预测任务训练的超网络，为从训练网络中读取物理结构提供了可解释工具。

  6. arXiv cs.LG33

    逆向 KL 策略蒸馏：统计学保证与理论极限

    一项新理论研究揭示了逆向 KL 策略蒸馏的统计学界限与样本复杂度差异。在在线蒸馏中，若教师模型仅反馈学生生成动作的概率，所需数据量会大幅增加；而离线蒸馏无论教师提供完整分布还是单一动作概率，均可达到相同的 minimax 速率。研究还提出了轨迹损失截断、重要性比率截断与策略空间学习技术，以实现最优在线蒸馏保证。

  7. arXiv cs.LG39

    Lean Finder V2：支持查询消歧的 Mathlib 语义搜索框架

    Lean Finder V2 是一种针对 Mathlib 的语义搜索框架，通过对抗训练与查询重写消除简短、模糊查询的歧义。在人工整理的 MathlibQR 基准上，该框架刷新 SOTA，较此前最优语义搜索引擎取得至少 11% 的相对提升。它在人类与编码智能体未标注查询测试中被评为最强系统，集成至 Claude Code 后提升了定理证明成功率。

  10. arXiv cs.LG27

    对抗性线性马尔可夫决策过程在聚合老虎机反馈下的首个多项式时间最优遗憾算法

    研究人员提出了针对具有未知转移、对抗性损失和老虎机反馈的分幕式线性马尔可夫决策过程（MDP）的首个多项式时间算法，实现了最优的 $\sqrt{K}$ 遗憾界（$K$ 为分幕数）。该方法通过构建近似分离预言机，将对抗性线性 MDP 规约到动作集未知的对抗性线性老虎机问题。该算法仅需聚合损失反馈，也是对抗性 MDP 在非表格化设定下首个支持聚合反馈的多项式时间算法。

  11. arXiv cs.LG35

    GIFT：面向蒸馏增强推理强化学习的梯度感知过滤方法

    研究人员提出 GIFT 方法，通过 token 级别的梯度几何分解解决蒸馏增强推理强化学习（RL）中的目标冲突问题。该方法将蒸馏梯度分解为衡量冲突的平行分量与量化指引价值的正交分量，并结合覆盖退火（coverage annealing）调度优先剔除冲突更新。在数学与逻辑推理基准测试中，GIFT 在困难数学推理任务上取得最高达 9.5% 的相对提升。

  13. arXiv cs.LG36

    Gandalf：延长大语言模型服务中 KV cache 卸载的闪存寿命

    Gandalf 作为首个具备 SSD 寿命感知的 KV cache 卸载系统被提出，旨在延长大语言模型服务中闪存的寿命。系统结合注意力类型等应用层信息，优先将 full-attention 的 KV cache 写入 SSD，在不牺牲命中率的前提下大幅削减写入量。评测显示 Gandalf 平均将 SSD 寿命延长 7.3X 且对命中率影响微乎其微，并可扩展至高带宽闪存（HBF）。

  14. arXiv cs.LG34

    单个预训练决策模型足以实现免训练通用图异常检测

    研究提出免训练通用图异常检测框架 Jev-GAD，利用单个冻结的预训练语言模型实现基于证据的异常评估。该框架通过 Graph-to-State 转换将结构、属性和邻域证据构建为决策状态，并结合 4 种统计得分进行等权秩融合。在 7 个图异常检测基准测试中，Jev-GAD 的平均 AUROC 和 AUPRC 分别达到 89.18% 和 52.40%。

  15. arXiv cs.LG25

    动态多无人机边缘网络中的自适应截止时间与能耗感知缓存算法

    研究者提出了用于动态多无人机边缘网络的 GRU-DEPPO 自适应缓存放置与替换算法，以应对异构需求、内容截止时间及无人机间能耗不均问题。该方案将局部和全局基于 GRU 的时序表征与中心化 PPO Actor-Critic 结合。仿真结果显示，GRU-DEPPO 实现了最低的截止时间超时率和无人机总通信能耗，相比基准方案 DE-UBAC 将超时率降低约 61%、无人机间能耗不平衡降低约 40%。

  17. arXiv cs.LG33

    用于癌症生存风险分析的时序医疗团队动态可视化与解释框架

    研究人员提出了一个用于建模和解释肿瘤学时序护理团队协作的可视化分析框架。该框架利用电子病历（EHR）数据构建动态协作网络，通过时序图神经网络（TGNN）评估患者随时间的风险，并结合替代逻辑回归模型与假设分析提供多视图可解释性。在涵盖乳腺癌、结直肠癌和肺癌共 505 名患者的专家导向分析场景中，该系统验证了揭示临床协作模式的能力。

  18. arXiv cs.LG32

    基于波数感知的拉曼光谱鲁棒分析深度学习方法

    研究提出一种将光谱点表示为强度与波数对、并直接依据波数计算 Transformer 位置编码的深度学习方法。在 3 种细菌及其混合物拉曼光谱以及公开的 30-isolate 细菌基准测试中，该方法在卷积、残差和 Transformer 网络中均表现出对噪声、稀疏采样和部分光谱覆盖的鲁棒性。在部分观测及未见采样网格的受控对比中，波数位置编码性能显著优于传统的基于索引和可学习编码。

  19. arXiv cs.LG43

    随机重新掩码扩展掩码扩散模型推理能力

    研究人员提出纯测试期的随机重新掩码去噪（R²D）推理方法与轨迹校正训练（TCT），通过随机重新引入掩码来修正掩码扩散模型解码过程中的不可逆错误。该方法在逻辑任务上呈现接近对数线性的测试期扩展能力，在困难数独和 3-SAT 上分别取得超 97% 和超 99% 的准确率。在语言任务评测中，该方案在 HumanEval+ 上超越了迭代校正基准及 LLaDA2.1-mini 的官方 Q-mode 准确率。

  20. arXiv cs.LG34

    联邦图检索增强生成 FedGRAG

    针对知识图谱分散且受隐私限制的问题，研究人员提出统一框架 FedGRAG，实现跨多客户端的分布式图检索与大语言模型知识增强生成。该框架通过轻量级知识索引的联邦路由识别相关客户端，并采用受控披露证据构建方法将子图转为摘要在服务端重构，避免泄露敏感图结构。实验表明 FedGRAG 在检索与下游生成任务上均持续优于现有基线。

  21. arXiv cs.LG32

    学习追踪移动目标的可解模型研究

    研究者提出了一个用于开环目标追踪的连续时间线性二次可解模型，推导出了最优控制策略、策略学习动态与价值学习动态的闭式解。该模型通过少量可解释参数在反应式追踪与预测性追踪之间插值，并揭示学习时间尺度对应特定矩阵的特征值。特征值谱的间隙表明，智能体通常会先学会触碰目标，随后才优化其运动轨迹。

  22. arXiv cs.LG33

    用于手腕 PPG 心率估计选择性校正的工具与记忆智能体架构

    研究人员提出一种具备工具与记忆的智能体架构，通过独立风险门控对手腕 PPG 心率估计进行选择性校正。该架构跨 PPG-DaLiA、GalaxyPPG 等 4 个公开数据集测试，使 10 个估计器的宏平均 MAE 最高降低 44.5%。团队还完成了智能手机端实时部署，原型记录的宏平均 MAE 从 9.09 bpm 降至 4.45 bpm。

  23. arXiv cs.LG37

    FlowGDA：利用 Flow Matching 学习域轨迹实现渐进式域自适应

    研究人员提出 FlowGDA 框架，利用 Flow Matching 将渐进式域自适应建模为表征空间统计流形上的连续传输。该方法采用免模拟回归目标替代对抗训练来学习平滑域轨迹，并通过源域锚定传输、语义一致性损失及两阶段序列优化防止语义漂移。实验表明其性能超越现有 SOTA 技术，论文已被 NeurIPS 2026 接收。

  25. arXiv cs.LG38

    通过行为反事实解释模型推理

    研究人员提出一种基于行为反事实解释模型推理过程的方法，通过训练模块编辑残差流，最小化固定回复在不同提示词下的输出分布 KL 散度以复现反事实行为。在 Gemma-4-E4B-it 与 DeepSeek-R1-0528-Qwen3-8B 上的案例研究显示，外部建议即便未被模型明确提及，也会通过问题表述与填充 token 处的表征显著改变论证框架甚至最终答案。

  26. arXiv cs.LG36

    时间序列异常检测的未来：从历史回顾到统一展望

    时间序列异常检测（TSAD）综述全面梳理了扩散模型、状态空间模型与 LLM 等新兴架构，并构建起细化的异常分类与范式分类体系。该研究系统分析了现有评估方法并通过实验检验指标保真度，同时开源了包含算法、数据集和评估工具的基准仓库。此外，论文还指出了动态阈值、模型可解释性、零样本迁移及时间序列基座模型等开放挑战。

  28. arXiv cs.LG34

    结合强化学习与大语言模型应对金融新闻时效性衰减的投资组合配置研究

    研究探讨了如何在大语言模型与强化学习的投资组合策略中处理时效性衰减的金融新闻，并评估了扣除交易成本后的收益表现。在2023-2025年的历史测试中，强化学习加入时序信息并未带来持续的收益提升。而大语言模型直接过滤过时新闻取得了最高的平均净收益，在新闻延迟4周时年化收益率达18.43%，超过了所有使用新闻的强化学习策略。

  29. arXiv cs.LG32

    NEST：面向多尺度聚类的嵌套嵌入表征框架

    研究人员提出无监督框架 NEST，借鉴 Matryoshka Representation Learning，在单个嵌入向量中编码由粗到细的多尺度聚类结构。该方法在嵌套前缀子空间中联合优化聚类与分离度，随嵌入维度增加实现更精细的区分，并通过秩和类内正则化防止表征坍缩。实验表明，NEST 仅需各层级聚类数即可恢复合成层级结构，并在视觉、文本及单细胞数据中验证了多尺度组织能力。

  30. arXiv cs.LG34

    速率约束下的最优多任务表征：一项信息瓶颈分析

    研究人员通过多任务信息瓶颈框架，分析了在信息预算限制下哪种预训练目标能为下游任务产生最优表征。针对高斯输入与任务的分析表明，弱任务对齐的专用模型在低速率下优于重构通用模型，但在高速率下会落后；基于平均任务信息矩阵定义的目标则具有受最大任务 SNR 控制的一致相对遗憾界。CelebA 和 dSprites 实验进一步证实，压缩会改变表现最优的预训练目标。

  31. arXiv cs.LG39

    反思 SAE 评估：原子可解释单元框架揭示隐藏的多义性与冗余

    研究者提出了原子可解释单元基底这一稀疏自编码器（SAE）评估新范式，并引入包含 DAME 的综合基准测试框架。评测跨多个架构和模型族的数百个 SAE 发现，部分 SAE 在现有指标下表现单义，但对模型计算贡献最大的核心主导特征在功能上依然具有多义性且冗余度更高。该研究建议在将 SAE 用于归因、回路追踪或干预前，将主导感知评估作为标准检查。

  32. arXiv cs.LG35

    DiffLTM：用于条件生成的大型表格连续扩散模型

    研究者提出了用于条件生成的大型表格连续扩散模型 DiffLTM。该模型对类别特征采用交叉熵损失并给出了首个理论证明，引入了针对罕见子群体的评估指标，并推广了条件生成技术以支持新型条件设定。在劳动力数据上的训练表明，DiffLTM 能够捕捉计量经济学的经典洞见，相关代码已开源。

  33. arXiv cs.LG35

    Short-to-Long：用于长周期价值学习的分离特征方法

    研究者提出 Short-to-Long（S2L）方法，通过较小折扣因子的源网络为长周期行为学习器提供特征表示。该方法利用分离连接阻止行为价值损失更新源网络，在保持长周期行为折扣目标不变的同时降低目标漂移。在 57 款 Atari 游戏中，S2L 在 40 款游戏中提升了配对终端中位数，并在在线与离线连续控制任务中均实现综合性能提升。

  35. arXiv cs.LG28

    结构扰动下符号图的稳定性分析

    研究者针对包含正负交互的符号图，分析了图滤波器在边添加、删除及符号翻转等结构扰动下的表示稳定性。理论分析表明，符号边扰动与节点特征相关性共同决定了表征稳定性，据此提出了一种基于理论指导的扰动策略。在合成与真实符号图上的实验表明，该方法比基线能引发更大的嵌入向量漂移、极性改变及下游链路预测性能下降。

  36. arXiv cs.LG33

    迈向保真数据选择：统计极限与可扩展算法

    新研究证明在缺乏超大规模验证集时，信息论上无法选出使总体误差最小的最优训练子集，并据此提出了以“保真度（faithfulness）”为目标的新数据选择框架。该方法利用未调整朗之万算法建模训练，通过累积梯度差异约束参数分布的 KL 散度，并设计了可单调降低该界限的交换局部搜索算法。方案在 CIFAR10 和 CIFAR100 上匹敌现有基线，相关代码已开源。

  37. arXiv cs.LG34

    基于扰动一致性与置信度校准的记忆增强脑电运动想象在线测试时自适应框架 MOPC

    研究者提出了用于脑电运动想象的无源在线测试时自适应框架 MOPC，可在推理阶段实时更新解码参数并实现单遍自适应。该框架结合随机掩码扰动增强预测一致性，设计置信度校准重加权损失缓解伪标签不可靠问题，并引入轻量级记忆模块防止灾难性遗忘。在 BCI IV IIb 和 OpenBMI 数据集上，MOPC 相比已有方法分别提升 2.22% 和 3.67%，单次试验自适应延迟仅约 40-60 ms。

  38. arXiv cs.LG36

    AcoustiPrint：面向可制造声学结构的物理引导神经反向设计方法

    研究人员提出 AcoustiPrint 物理引导神经架构，利用隐式神经表示（INR）和可打印性算子实现可制造声学结构的约束反向设计。该方案通过代理梯度与自监督可打印性目标，使包含层级自支撑、离散材料选择与连通性等非微分制造约束支持反向传播。在个性化经颅聚焦超声测试中，该方法联合优化三维几何与材料构成，聚焦精度超越基于密度和基于相位的基准。

  39. arXiv cs.LG34

    持续同调通过多模态图神经网络实现跨物种离子通道分类

    研究人员提出融合 ESM-2 序列嵌入与二硫键感知图注意力网络的多模态模型 PH-GNN，利用持续同调表征实现跨物种的毒素离子通道分类。在包含 5 个分类群、1,373 种 ColabFold 预测毒素分子的留一物种评估中，序列基线准确率跌至约 30%，其他几何先验模型聚集在 54-55%，而 PH-GNN 达到 63.4%，领先次优方法 8 个百分点以上。