跳到正文

#论文/研究

今日 0 条
10月15日周四
  1. arXiv cs.LG35

    随机特征二元语法模型的精确缩放定律（Scaling Laws）研究

    一项新理论研究推导出了带随机嵌入瓶颈的二元语法（bigram）模型的精确缩放定律。研究将该模型视为大语言模型的简化分析模型，推导出了预测遗憾（prediction regret）随模型宽度、词表大小及齐夫定律（Zipf）指数变化的函数关系，从纯表征能力约束的视角解释了经典神经缩放定律的形式。在 WikiText2 和 OpenWebText 自然语言数据集上的实验结果与理论预测曲线高度吻合。

  2. arXiv cs.LG33

    尺寸泛化的无维度扩展定律：样本复杂度的指数级分离

    研究人员建立了尺寸泛化的统计学习理论，证明多项式源衰减条件在域内可实现 $n^{-\Theta(1)}$ 误差，但跨尺寸泛化误差仅以 $(\log n)^{-\Theta(1)}$ 衰减，导致样本复杂度出现指数级分离。该研究进一步提出了可恢复多项式样本复杂度的指数源条件，并给出匹配的极大极小下界，构建了不依赖输入维度的扩展定律。

  3. arXiv cs.LG34

    面向扩散语言模型的结果路由蒸馏与强化学习

    研究人员针对 MoE 架构的扩散语言模型（dLLM）提出了一种无需策略似然度的训练管线，结合验证器强化学习与结果路由蒸馏。在 24 步去噪下，蒸馏先使模型工具调用性能超过教师 6.77 个百分点，加入路由后在蒸馏检查点基础上进一步提升 18.31 个百分点。该方法还通过锚定 KL 项保护了验证器奖励之外的推理链路准确率。

  4. arXiv cs.LG24

    探索深度学习森林分类的可解释性：基于 Sentinel-2 时间序列区分相似森林类别

    研究人员基于 Sentinel-2 时间序列评估了 RNN 的树种分类能力，最佳模型在测试集上取得 0.851 的 Macro-F1 分数，分别超过 XGBoost 与随机森林 0.012 和 0.103。利用积分梯度（IG）分析发现，区分纯挪威云杉与混合林的特征归因值在 DOY 约 125 之后显著上升，且 B11 波段贡献最强。

  5. arXiv cs.LG27

    用于参数化随机波动率定价的结构化条件神经求解器 BeTINN

    研究人员提出结构化条件神经架构 BeTINN，通过多向时间-参数条件调制和联合残差通路求解参数化偏微分方程。在具有混合导数与一阶、二阶敏感度的 Heston 随机波动率模型测试中，BeTINN 在归一化期权价值和关键敏感度指标上的联合精度均优于基线模型。研究同时发现，精确的解值可能与局部导数误差并存，因此需要引入导数感知评估。

  6. arXiv cs.LG34

    SE(3) 等变结构预测中动态 k-NN 图的精确拓扑通道调度：带阻尼置信域补偿

    研究者针对 SE(3) 等变结构预测提出了双通道拓扑调度方案，通过带阻尼置信域补偿动态 k-NN 图构建，在保证精度的同时降低逐块重建开销。该方案实现三种补偿级别，其中 L2 级别可完全复现逐块重建的边集，且整个过程取得 1.5x 的 Pass-1 与 1.76x 的 epoch 加速且无明显损失差距。相关运行时与实验代码已全部开源。

  7. arXiv cs.LG46

    研究发现 LLM 编程使用可复用且可组合的抽象表征

    研究发现大语言模型（LLM）在生成代码时，其激活值会在中间层形成跨编程语言可复用且可组合的抽象表征。通过激活操控（activation steering），研究人员能够独立控制功能、编程语言与实现策略，甚至在提示词未包含相关信息时灵活组合控制生成。此外，在单一编程语言上微调任意定义的函数可直接迁移至其他语言，合成实验也证实 Transformer 能自主学会这类共享结构。

  9. arXiv cs.LG32

    顺着不动点曲线：连续思维机（CTM）中的图像分类机制研究

    研究人员揭示了连续思维机（CTM）在 ImageNet 上的图像分类机制，其思考轨迹表现为神经状态紧跟逐步移动的局部唯一吸引不动点曲线。该曲线运动大多在不同图像间共享，且注意力调度高度通用：在每个时间步打乱图像间的 query 仅导致 7% 的分类准确率损失，图像无关增量预测下一个 query 的 R^2 达到 0.98。这表明 CTM 倾向于采用单一通用策略处理所有 ImageNet 图像。

  10. arXiv cs.LG42

    LLM 智能体协作研究：通过概率通信缩小协作差距

    研究提出让 LLM 智能体团队传递经过校准的动作概率而非单一动作，以在部分信息场景下更有效地聚合决策信息。在协作迷宫任务与预训练 LLM 评测中，保留校准不确定性的概率通信表现显著优于传统的动作通信。针对概率偏差削弱通信收益的问题，研究设计的事后对话校准干预机制能够通过上下文纠偏持续改善协作决策。

  11. arXiv cs.LG33

    FireGraphNet：基于有向图神经网络的亚日级野火蔓延预测

    研究人员提出 FireGraphNet，将 12 小时野火蔓延建模为有向 H3 图上的节点分类任务，边上编码了风向对齐、地形、可燃物连续性与屏障信息。在卫星火线数据测试中，其平均精度在加州测试火灾上达到最强距离基线的 1.7-1.9x，在州外火灾达到 1.62x。该模型还支持修改可燃物与屏障属性，可用于实际灭火干预分析。

  12. arXiv cs.LG34

    基于共形认证的自适应计算框架 Conformal Adaptation

    研究人员提出了具备风险保证的 Conformal Adaptation 框架，用于实现感知不确定性的稀疏自适应计算。该方法采用分层模型在低分辨率下进行预测，利用共形风险控制对信号进行认证，并仅对已认证区域进行高分辨率细化。在 3D 医学图像分割、2D 星系光通量预测和 1D 钙离子脉冲率预测等多项任务中，该方法在普通 CPU 等设备上实现了 2.5-72x 的实际运行时间加速。

  13. arXiv cs.LG35

    通过局部有害协变量偏移检测诊断低置信度患者画像

    研究人员提出了一种结合患者异质性与分布偏移的统一诊断流程，通过 MED3pa 发现可解释的低置信度患者画像，并利用 Detectron 在画像内检测性能下降是否源于有害协变量偏移。在 MIMIC-IV 上的三项临床预测任务与三种子群体偏移实验显示，群体层面无法检测的年龄偏移被成功定位至特定受损画像，而广泛检出的性别与种族偏移则难以针对性定位受影响患者。相关代码已开源。

  14. arXiv cs.LG38

    解析在线策略蒸馏（OPD）：教师模型的优势究竟体现在何处？

    研究通过在师生分歧处受控替换 token，揭示了在线策略蒸馏（OPD）中教师优势的具体来源。实验表明多次重复替换可将准确率从 28.4% 提升至 74.5%（接近教师的 76.9%），且基于质量和 KL 的筛选比随机替换高 15-18 个百分点。此外，更高的 argmax 一致性并不会持续改善准确率，研究建议采用能稳定学习高价值修正的训练方案。

  15. arXiv cs.LG35

    图神经网络在图数据库中直接进行训练与推理的研究探索

    研究人员实现了直接在图数据库内进行图神经网络（GNN）训练与推理，可直接执行采样、特征检索甚至完整的前向传播。通过 Cypher 进行实时采样和检索并结合优化方案，训练过程在保持相同准确率的同时提速约 2.5x。在真实图数据上，数据库内推理相比将图冷加载至 RAM 提速超过 10x，且无需额外内存开销。

  16. arXiv cs.LG43

    TRACER：针对间接提示词注入的轨迹正则化训练方法

    研究人员提出感知部署通道的对抗训练方法 TRACER，通过采样展示包装器、结合证据门控奖励与推理对齐机制，防御大语言模型的间接提示词注入攻击。在 GSM8K 测试中，基于 Qwen2.5-3B-Instruct 的 TRACER 将 RAG 场景下的攻击成功率（ASR）从 65.5% 降低至 6.1%，并保持 78-82% 的干净样本准确率。

  17. arXiv cs.LG33

    利用几何时域模型想象目标以提升策略泛化能力

    研究提出 TD-Aug 方法，通过几何时域模型采样直接想象组合已有知识可达成的新结果，以此解决离线策略在长时域下的零样本目标泛化难题。实验表明，将这些想象出的未来结果作为目标用于训练目标条件行为克隆（goal-conditioned BC）策略，能显著提升其在基于拼接的 OGBench 任务中的泛化表现。

  19. arXiv cs.LG36

    通过保留注意力的 MLP 裁剪解锁推理大模型的结构化剪枝：LayerTrim

    研究者提出免训练结构化剪枝方法 LayerTrim，通过识别冗余解码器层并选择性裁剪其 MLP 特征，在保留注意力机制和解码深度的同时保护长程推理能力。跨 3 个推理模型和 5 个基准的测试显示，该方法平均准确率相比 RESP 最多提升 21.4 个百分点。在 Qwen3-14B 上，LayerTrim 实现了 1.24x 的 Prefill 加速并降低 19.7% 的 GPU 峰值显存。

  20. arXiv cs.LG36

    Genesis Steering：利用训练数据提升大语言模型激活转向效果

    研究人员提出名为 Genesis Steering 的激活转向方法，通过从模型自身的微调数据中提取对比样本来构建转向向量，并在训练数据不可用时借助成员推理识别可能的数据构建代理集。在开源微调数据的 Tülu-3-8B 及对照模型 Llama-3.1-8B-Instruct 上的评测显示，来自训练混合集的安全数据转向效果优于外部数据集。

  22. arXiv cs.LG46

    超越综合准确率：提示词优化中的单项层面转变

    研究人员提出反射反馈驱动提示词优化（RFDPO），通过追踪单项层面的修复、退步与结果翻转（churn）指导优化，揭示综合准确率掩盖的模型行为变化。在 GPT-5 优化、GPT-4o-mini 与 GPT-4.1 Mini 求解的五项基准测试中，9 种配置里有 5 种的 churn 至少达到净变化的 5 倍。

  23. arXiv cs.LG35

    连续流语言模型如何反向传播验证器奖励

    研究者提出了面向连续流语言模型的强化学习后训练框架，可直接反向传播验证器奖励。该框架引入能评估中间 token 嵌入价值的 critic，绕过不可微的离散解码步骤以获得方差远低于 REINFORCE 的路径梯度，并从每个 token 表示预测价值来优化策略。实验显示，该方法在 4 项推理任务上稳定提升了连续流语言模型表现，并优于同类基线。

  25. arXiv cs.LG38

    内部优化器如何影响大模型分布式训练中的副本扩展性

    研究人员探讨了 DiLoco 等跨数据中心大语言模型训练中内部优化器对副本扩展性的影响，指出伪梯度的协方差结构以及批大小对伪梯度噪声尺度的影响是决定扩展性能的两个关键因素。基于白化的预条件处理被证明是内部优化器的关键特性。实验表明，基于白化的内部优化器在 8 到 96 个副本下均实现了强大的扩展性能，且随着参数与数据的扩展，其相较于数据并行的表现进一步提升。

  26. arXiv cs.LG37

    面向复杂演化过程系统发育推断的深度生成模型

    研究团队提出一种面向复杂演化推断的条件深度生成模型族，基于离散扩散框架通过自顶向下、由内向外或自底向上范式迭代构建系统发育树。在最多 65 个分类单元及超过 10^5 个 token 的数据集上，其恢复 MCMC 后验分布的精度优于此前 SOTA 方法 Phyloformer 2。相比传统工具 IQ-Tree，该模型在复杂真实数据上的推断更为准确。

  27. arXiv cs.LG26

    主动推理中的信息探索优势分析

    研究对比了主动推理（AIF）与 Bayes-UCBVI 的探索机制，发现原始 AIF 的信息增益衰减过快会导致贪心智能体错失最优动作。通过平方根校准后，calibrated AIF 在精确抽象下可达到 $\sqrt T$ 阶遗憾界，但固定奖励下并不优于 Bayes-UCBVI。

  28. arXiv cs.LG32

    图粗化助力算力受限的非凸 MAX-CUT 逃离局部最优

    研究人员提出结合组合多重网格（CMG）谱图粗化与粒子多项式松弛（PPR）的非凸优化流程，用于解决 MAX-CUT 初始化敏感问题。在 t2g20 基准上，CMG+PPR 平均达到最优解的 97.5%，加入离散局部搜索微调后在全部 60 个 Biq Mac 算例上均达到已知最优解。借助稀疏 CSR 表示，该方法可扩展至达 20,000 个顶点的 G-set 算例，显存占用最多减少 3333x。

  29. arXiv cs.LG37

    损失曲率作为扩散模型记忆特性的免采样代理指标

    研究人员提出将输入损失曲率（即训练损失 Hessian 矩阵的 Frobenius 范数）作为免采样的有效代理指标，用于量化扩散模型对训练数据的记忆特性。在训练过程中追踪平均输入曲率可识别模型何时开始复现训练数据；同时结合反事实记忆定义证明，留一模型的输入曲率直接控制样本的反事实记忆程度，在损失局部特征与样本生成概率间建立了理论关联。

  30. arXiv cs.LG34

    大语言模型语言习得中的形态、语义与分歧演进追踪

    研究人员通过开源模型 Pythia 和 OLMo 的中间检查点，系统探索了大语言模型在训练过程中的语言习得动态。实验表明，模型习得形态结构的时间远早于语义嵌入向量的稳定期。此外，训练数据集规模对分歧识别具有积极影响，而预训练期间的共现和推理期间的重复则会对分歧识别及联想链接生成产生负面作用。

  31. arXiv cs.LG31

    Lag：面向可重用资源在线分配的平均场最优策略

    研究人员针对可重用资源的在线任务分配问题提出闭式索引策略 Lag，将其建模为上下文多臂老虎机并通过对偶求解实现渐近最优。在同行评审与呼叫中心路由等评测中，Lag 索引策略在各负载水平下达到 LP 上界的 83-99%。相比自然贪心策略，该方法在期刊数据集上的奖励提升最高达 12.3%，在结构化合成用例中提升达 36%。

  33. arXiv cs.LG39

    一个 Token 需要多少秩？用于一秩 LoRA 专家的底噪静噪方法 SQUELCH

    研究者提出无需路由器的混合一秩专家方法 SQUELCH，通过软阈值过滤高斯底噪让每个 token 动态调整激活秩，且不增加额外可训练参数。在 LLaMA-3.1-8B、千问（Qwen3）和 DeBERTaV3 上的评测显示，SQUELCH 较传统 LoRA 提升 2.2-3.2 个点，在平均仅激活 32 个组件中 8.6 个的情况下超越最强混合基准 0.8-1.2 个点。

  34. arXiv cs.LG33

    基于前序效用预测的 IR-PRM+：常数级遗憾与最佳迭代收敛

    研究人员提出了一种结合前序效用预测的 IR-PRM+ 算法，在有限双人零和矩阵博弈的同步与交替更新下均实现了常数级外部遗憾界。该方法可保证 O(T^{-1}) 平均对偶间隙与 O(T^{-1/2}) 最佳当前迭代间隙，且当前策略组合收敛至纳什均衡集。同时，对应的 IR-PCFR+ 变体也将类似理论保证拓展到了完美记忆的扩展型博弈中。

  36. arXiv cs.LG39

    图像自蒸馏的数据密度扩展定律研究

    研究发现图像自蒸馏模型中样本重复对下游性能的影响因数据集而异，在部分场景下对较小随机子集重复训练的表现甚至优于使用更多唯一样本。基于 Maxar、Waymo、ImageNet 等数据集的实验，研究团队提出了一种改进的 Chinchilla 风格扩展定律，明确计入唯一样本量与单样本重复次数。该框架为理解数据与算力权衡提供了支持，同时还分析了子集选择和数据增强对下游性能的影响。

  38. arXiv cs.LG34

    扰动预测模型是否学到了基因相互作用？智能体筛选中的外推诊断研究

    针对未测基因组合效应的预测难题，研究人员提出通过对比模型预测与单基因效应相加的基线，构建度量额外相互作用的加性差异指标（AD）。在 8 种预测方法和 3 个 Perturb-seq 数据集上的评测显示，专用神经预测模型并未始终超越简单的加性基线，且偏离加性基线越大的预测往往误差越大。该指标相比传统置信度信号表现更稳定，可用于指导智能体扰动筛选流程的决策。

  39. arXiv cs.LG35

    视觉类增量学习方法能否迁移至蛋白质？冻结蛋白质编码器诊断基准研究

    研究人员在一项针对冻结蛋白质编码器的受控基准评测中发现，现有的视觉类增量学习（CIL）方法无法可靠迁移至蛋白质表征。该基准涵盖 9 种代表性 CIL 方法、5 种蛋白质编码器和 2 个不同规模的酶功能数据集。诊断分析表明失败源于梯度稳定性信号弱、嵌入几何高度异质以及协方差假设失效，未来蛋白质持续学习需采用感知编码器几何特性的方法，相关代码已开源。