跳到正文

#arXiv

今日 0 条
10月15日周四
  1. arXiv cs.LG36

    通过保留注意力的 MLP 裁剪解锁推理大模型的结构化剪枝:LayerTrim

    研究者提出免训练结构化剪枝方法 LayerTrim,通过识别冗余解码器层并选择性裁剪其 MLP 特征,在保留注意力机制和解码深度的同时保护长程推理能力。跨 3 个推理模型和 5 个基准的测试显示,该方法平均准确率相比 RESP 最多提升 21.4 个百分点。在 Qwen3-14B 上,LayerTrim 实现了 1.24x 的 Prefill 加速并降低 19.7% 的 GPU 峰值显存。

  2. arXiv cs.LG36

    Genesis Steering:利用训练数据提升大语言模型激活转向效果

    研究人员提出名为 Genesis Steering 的激活转向方法,通过从模型自身的微调数据中提取对比样本来构建转向向量,并在训练数据不可用时借助成员推理识别可能的数据构建代理集。在开源微调数据的 Tülu-3-8B 及对照模型 Llama-3.1-8B-Instruct 上的评测显示,来自训练混合集的安全数据转向效果优于外部数据集。

  3. arXiv cs.LG46

    超越综合准确率:提示词优化中的单项层面转变

    研究人员提出反射反馈驱动提示词优化(RFDPO),通过追踪单项层面的修复、退步与结果翻转(churn)指导优化,揭示综合准确率掩盖的模型行为变化。在 GPT-5 优化、GPT-4o-mini 与 GPT-4.1 Mini 求解的五项基准测试中,9 种配置里有 5 种的 churn 至少达到净变化的 5 倍。

  4. arXiv cs.LG35

    连续流语言模型如何反向传播验证器奖励

    研究者提出了面向连续流语言模型的强化学习后训练框架,可直接反向传播验证器奖励。该框架引入能评估中间 token 嵌入价值的 critic,绕过不可微的离散解码步骤以获得方差远低于 REINFORCE 的路径梯度,并从每个 token 表示预测价值来优化策略。实验显示,该方法在 4 项推理任务上稳定提升了连续流语言模型表现,并优于同类基线。

  5. arXiv cs.LG38

    内部优化器如何影响大模型分布式训练中的副本扩展性

    研究人员探讨了 DiLoco 等跨数据中心大语言模型训练中内部优化器对副本扩展性的影响,指出伪梯度的协方差结构以及批大小对伪梯度噪声尺度的影响是决定扩展性能的两个关键因素。基于白化的预条件处理被证明是内部优化器的关键特性。实验表明,基于白化的内部优化器在 8 到 96 个副本下均实现了强大的扩展性能,且随着参数与数据的扩展,其相较于数据并行的表现进一步提升。

  6. arXiv cs.LG37

    面向复杂演化过程系统发育推断的深度生成模型

    研究团队提出一种面向复杂演化推断的条件深度生成模型族,基于离散扩散框架通过自顶向下、由内向外或自底向上范式迭代构建系统发育树。在最多 65 个分类单元及超过 10^5 个 token 的数据集上,其恢复 MCMC 后验分布的精度优于此前 SOTA 方法 Phyloformer 2。相比传统工具 IQ-Tree,该模型在复杂真实数据上的推断更为准确。

  7. arXiv cs.LG26

    主动推理中的信息探索优势分析

    研究对比了主动推理(AIF)与 Bayes-UCBVI 的探索机制,发现原始 AIF 的信息增益衰减过快会导致贪心智能体错失最优动作。通过平方根校准后,calibrated AIF 在精确抽象下可达到 $\sqrt T$ 阶遗憾界,但固定奖励下并不优于 Bayes-UCBVI。

  8. arXiv cs.LG32

    图粗化助力算力受限的非凸 MAX-CUT 逃离局部最优

    研究人员提出结合组合多重网格(CMG)谱图粗化与粒子多项式松弛(PPR)的非凸优化流程,用于解决 MAX-CUT 初始化敏感问题。在 t2g20 基准上,CMG+PPR 平均达到最优解的 97.5%,加入离散局部搜索微调后在全部 60 个 Biq Mac 算例上均达到已知最优解。借助稀疏 CSR 表示,该方法可扩展至达 20,000 个顶点的 G-set 算例,显存占用最多减少 3333x。

  9. arXiv cs.LG37

    损失曲率作为扩散模型记忆特性的免采样代理指标

    研究人员提出将输入损失曲率(即训练损失 Hessian 矩阵的 Frobenius 范数)作为免采样的有效代理指标,用于量化扩散模型对训练数据的记忆特性。在训练过程中追踪平均输入曲率可识别模型何时开始复现训练数据;同时结合反事实记忆定义证明,留一模型的输入曲率直接控制样本的反事实记忆程度,在损失局部特征与样本生成概率间建立了理论关联。

  10. arXiv cs.LG34

    大语言模型语言习得中的形态、语义与分歧演进追踪

    研究人员通过开源模型 Pythia 和 OLMo 的中间检查点,系统探索了大语言模型在训练过程中的语言习得动态。实验表明,模型习得形态结构的时间远早于语义嵌入向量的稳定期。此外,训练数据集规模对分歧识别具有积极影响,而预训练期间的共现和推理期间的重复则会对分歧识别及联想链接生成产生负面作用。

  11. arXiv cs.LG31

    Lag:面向可重用资源在线分配的平均场最优策略

    研究人员针对可重用资源的在线任务分配问题提出闭式索引策略 Lag,将其建模为上下文多臂老虎机并通过对偶求解实现渐近最优。在同行评审与呼叫中心路由等评测中,Lag 索引策略在各负载水平下达到 LP 上界的 83-99%。相比自然贪心策略,该方法在期刊数据集上的奖励提升最高达 12.3%,在结构化合成用例中提升达 36%。

  12. arXiv cs.LG39

    一个 Token 需要多少秩?用于一秩 LoRA 专家的底噪静噪方法 SQUELCH

    研究者提出无需路由器的混合一秩专家方法 SQUELCH,通过软阈值过滤高斯底噪让每个 token 动态调整激活秩,且不增加额外可训练参数。在 LLaMA-3.1-8B、千问(Qwen3)和 DeBERTaV3 上的评测显示,SQUELCH 较传统 LoRA 提升 2.2-3.2 个点,在平均仅激活 32 个组件中 8.6 个的情况下超越最强混合基准 0.8-1.2 个点。

  13. arXiv cs.LG33

    基于前序效用预测的 IR-PRM+:常数级遗憾与最佳迭代收敛

    研究人员提出了一种结合前序效用预测的 IR-PRM+ 算法,在有限双人零和矩阵博弈的同步与交替更新下均实现了常数级外部遗憾界。该方法可保证 O(T^{-1}) 平均对偶间隙与 O(T^{-1/2}) 最佳当前迭代间隙,且当前策略组合收敛至纳什均衡集。同时,对应的 IR-PCFR+ 变体也将类似理论保证拓展到了完美记忆的扩展型博弈中。

  14. arXiv cs.LG39

    图像自蒸馏的数据密度扩展定律研究

    研究发现图像自蒸馏模型中样本重复对下游性能的影响因数据集而异,在部分场景下对较小随机子集重复训练的表现甚至优于使用更多唯一样本。基于 Maxar、Waymo、ImageNet 等数据集的实验,研究团队提出了一种改进的 Chinchilla 风格扩展定律,明确计入唯一样本量与单样本重复次数。该框架为理解数据与算力权衡提供了支持,同时还分析了子集选择和数据增强对下游性能的影响。

  15. arXiv cs.LG35

    PMO-Dock:分子优化中的对接、特异性与泛化能力基准评测

    研究人员提出了基于对接的分子优化基准与协议 PMO-Dock,包含覆盖苗头化合物生成、先导化合物优化及特异性任务的 25 个任务,并在严格的 oracle 预算下将验证任务调参与未见测试任务最终评估分离。研究评测了 Saturn、GenMol、Genetic-guided GFlowNet 和 ChemLlama 四种方法,结果显示没有一种方法在所有任务上普遍最优,且超参数跨任务迁移效果有限。

  16. arXiv cs.LG34

    扰动预测模型是否学到了基因相互作用?智能体筛选中的外推诊断研究

    针对未测基因组合效应的预测难题,研究人员提出通过对比模型预测与单基因效应相加的基线,构建度量额外相互作用的加性差异指标(AD)。在 8 种预测方法和 3 个 Perturb-seq 数据集上的评测显示,专用神经预测模型并未始终超越简单的加性基线,且偏离加性基线越大的预测往往误差越大。该指标相比传统置信度信号表现更稳定,可用于指导智能体扰动筛选流程的决策。

  17. arXiv cs.LG35

    视觉类增量学习方法能否迁移至蛋白质?冻结蛋白质编码器诊断基准研究

    研究人员在一项针对冻结蛋白质编码器的受控基准评测中发现,现有的视觉类增量学习(CIL)方法无法可靠迁移至蛋白质表征。该基准涵盖 9 种代表性 CIL 方法、5 种蛋白质编码器和 2 个不同规模的酶功能数据集。诊断分析表明失败源于梯度稳定性信号弱、嵌入几何高度异质以及协方差假设失效,未来蛋白质持续学习需采用感知编码器几何特性的方法,相关代码已开源。

  18. arXiv quant-ph34

    利用全息量子电路采样实现时间序列生成学习

    研究人员提出全息量子电路采样(HQCS),通过结合电路中途测量、量子比特复用与独立参数化时间块,使用固定数量的量子比特生成时间序列轨迹。理论上,HQCS 针对特定损失方差证明了反多项式界,避免了指数级损失集中,并将特定非平稳过程的精确生成门数量从二次方降为线性。仿真实验显示,HQCS 学习历史波动率指数(VIX)轨迹的最大均值差异比测试的经典基准低 10 倍以上。

  19. arXiv quant-ph30

    利用 AI 降低量子应用开发中的信任成本

    研究提出一种结合生成式 AI 与形式化验证的开发方法,旨在降低人工核验量子线路正确性所产生的“信任成本”。该方法将实现划分为目标数学规范、量子线路,以及证明两者一致的对应定理与证明,使人类仅需审查规范与定理陈述,而将定理证明交由机器自动核验。研究以随机粒子系统时间演化的实现作为具体范例展示了该方案。

  20. arXiv quant-ph26

    用于希格斯玻色子事件分类的量子机器学习模型样本规模扩展性与表征敏感度研究

    研究人员针对希格斯玻色子事件分类评估了量子支持向量机(QSVM)与变分量子分类器(VQC)的样本规模扩展性及表征敏感度。模型基于 ATLAS 挑战赛模拟数据,在 250 至 4000 个事件的平衡子集上结合 PCA 与自编码器降维进行训练,并以 4 种经典分类器为基准。结果显示较大样本下 QSVM 表现优于 VQC,但两者仍落后于表现最佳的经典分类器。

  21. arXiv quant-ph25

    镜中罗盘:基于 Hopf Ansatz 的量子反向传播

    研究提出基于 Hopf ansatz 的量子反向传播方法,利用逆向 Hopf 框架和相位校准受控反射,通过复用有限测量记录实现完整参数梯度的反向计算。对于包含 $M$ 个实值参数的完整图谱,全局方法的执行采样次数为 $\mathcal{O}(\log\log M)$,检查点方案则为 $\mathcal{O}(\log M\log\log M)$。

  22. arXiv quant-ph29

    量子 Fisher 有效维度能否评估混合量子神经网络?

    研究表明量子 Fisher 信息矩阵(QFIM)的有效维度反映的是电路几何特性,而非混合量子神经网络(QNN)的模型质量。实验显示其与测试准确率的相关性在 -0.72 至 +0.87 之间波动,且在半数配置中会随随机种子改变正负符号;在固定电留下,初始有效维度为 6 至 9,但 CIFAR-10 准确率跨越 23.14% 到 86.44%。

  23. arXiv quant-ph25

    用于量子储备池计算的参数高效多线性读出方法 ML-QRC

    研究人员提出了用于量子储备池计算的多线性读出方法 ML-QRC,通过沿各模式投影保留时间步、量子比特与可观测量构成的张量结构。在指定配置下,ML-QRC 相比全稠密 MLP 减少了 12.0 倍参数,特征块压缩达 12.1 倍。实验表明其在 TFIM 相分类全数据测试中取得最高准确率,并在 Mackey-Glass 预测中显著改善了神经读出在低数据场景下的稳定性。

  24. arXiv quant-ph33

    量子视觉 Transformer(QViTs)的实证扩展定律

    量子视觉 Transformer(QViTs)的数值图像分类实验表明,其验证损失可由量子比特数、Transformer 深度和训练数据集大小构成的联合平移幂律模型良好描述。在等效预测性能下,增加量子比特数能够弥补经典编码器参数量的减少。该发现印证了量子学习模型在参数效率上的优势,为量子机器学习探索资源节省提供了新方向。

10月14日周三
  1. Nature25

    Nature 每日简报:科研人员工作满意度调查、AI 创意检测工具 IdeaLens 与诺贝尔经济学奖

    Nature 发布 2026 年科研工作满意度调查,结果显示大多数研究人员对工作感到满意,且工作的意义感、灵活性和稳定性比薪资更受看重。新工具 IdeaLens 可通过将文本提炼为大纲来识别 AI 生成的概念与论点结构,测试中识别准确率达 91%。此外,Robert E. Hall 与 Michael Woodford 因经济稳定化研究获得 2026 年诺贝尔经济学奖。

10月12日周一
  1. 量子位69

    何恺明团队提出视觉原生Harness框架VISTA,助力多模态模型交互推理

    何恺明团队提出视觉原生Harness框架VISTA,无需重新训练即可让多模态模型在交互环境中保存原始画面并按需回看、放大细节。该框架包含视觉观测、无损视觉记忆和主动视觉检查三个组件,配合文字笔记管理状态;搭配Claude Opus 5.0通关了ARC-AGI-3全部25个公开游戏,相对人类动作效率得分达到100。

  2. 量子位62

    开源AI论文生成工具 Open Academic Paper Gen 支持全文段落级引用核验

    GitHub 开源多智能体学术论文生成工具 Open Academic Paper Gen,覆盖从选题检索到初稿导出的九阶段工作流,主打结合文献全文核验引用观点并可标注对应 PDF 页码。系统设立了文献池核对、DOI 身份确认及原文段落匹配三道核验机制,并包含创新性诊断与模拟审稿功能,目前支持接入 OpenAI 和智谱 GLM 模型。

  3. arXiv cs.LG39

    迈向更易调优的训练算法:AlgoPerf 最新评测结果

    更新后的 AlgoPerf V1 基准发布最新评测结果,在要求 9 个工作负载共用单一配置的自调优规则下,Schedule-Free AdamW 在 13 个 PyTorch 与 JAX 提交算法中排名第一。分析表明,矩阵预处理与两循环方法虽样本效率良好,但需更激进的计算优化才能提升实际耗时竞争力,且学习率与动量跨领域依然高度敏感。

  4. arXiv cs.LG34

    用于轨迹外推的目标约束池化方法 TCP

    研究者提出目标约束池化(TCP)方法,通过解耦有限时域端点与延续形状,并结合均匀池化与匹配增量池化两种互补源信号来修正自由预测。在涵盖 5 个领域的 25,245 个目标轨迹测试中,TCP 使 10 种仅基于目标的预测器平均 RMSE 降低了 35.8% 至 42.1%,并在全部 100 项对比中均取得性能提升。