跳到正文

全部动态

今日 19 条
11月2日周一
  1. arXiv cs.LG34

    CAP:从相关任务的稀疏观测中学习优化

    研究人员提出黑盒优化策略 CAP(Candidate Acquisition Policy),通过建模历史记录中的共享结构与任务变异采样交互练习函数,学习受反馈调节的序列查询策略。在 6 维至 20 维的 5 个合成任务族及 BOPTEST、SU2 工程模拟基准上,CAP 在 4 个合成族和全部 2 个工程基准中均取得了最低的中位数最终预算值。该方法能够在固定评估预算下更高效地利用昂贵的实验资源。

  2. arXiv cs.LG50

    论文揭示 bf16 舍入导致强化学习策略更新丢失并提出 Fair Cast 修复方案

    最新论文指出,语言模型在强化学习后训练中采用 bf16 就近舍入会导致绝大部分单步参数更新被丢弃,在 Qwen3-1.7B 上导致数据生成策略滞后优化器 50-150 步。针对此训练与推理不匹配问题,作者提出了名为 Fair Cast 的单行代码无偏舍入方案,在 Qwen3-0.6B 至 4B 模型测试中实现平均 6.1 分的性能提升,且无需引入额外超参数。

  3. arXiv cs.LG31

    图神经网络中不可约表示间的非线性映射

    针对等变线性映射无法混合非同构不可约表示的问题,研究者提出基于度解析的非线性交互机制,并构建了作用于无序图三元组的残差结构 Specht Triple。在冻结 GIN 骨干网络的合成结构基准测试中,Specht Triple 相较参数量匹配的 Projector Control 对照组,将综合标准化测试 MSE 降低了 11.05%。该结果支持将不可约分解作为非线性高阶等变处理的有效归纳偏置。

  4. arXiv cs.LG31

    面向车联网且支持后量子认证的高效通信隐私联邦强化学习研究

    针对车联网协同路径规划,该研究提出一种面向联邦强化学习的相关私有量化方法,结合后量子认证降低聚合误差并维持单比特通信成本。相比全精度更新,1-bit 上传将认证上行数据量减少 92.4%,每轮平均聚合的已验证更新从 19.6 提升至 26.5,且解析聚合均方误差比独立量化降低 16.5%。在参数级隐私预算为 1 的移动受限场景下,该方法比独立量化将平均行程时间缩短 14.3%。

  5. arXiv cs.LG33

    CUTTIE:通过分层检验定位神经网络表征中编码的预测概念

    CUTTIE 方法通过将网络单元聚类成树并执行自顶向下的条件独立性检验,在控制族错误率的同时定位神经网络表征中编码的目标预测概念。该方法结合条件归因图揭示单元编码的具体基序,在受控模拟及基于 DNA 序列预测细胞特异性染色质可及性的卷积模型中,成功将识别出的聚类映射至已知调控基序。

  6. arXiv cs.LG33

    适应之前:持续世界模型中的零样本泛化瓶颈

    持续强化学习中世界模型的零样本复用性能在物理上下文改变时会显著下降,表明表征泛化是世界模型可靠复用的核心瓶颈。该研究将上下文分解为行为与物理组件,并在受控 FourRooms 任务中使用 Dyna-Q 和 TD-MPC 评估直接复用表现。消融实验与隐空间诊断进一步证实,学习到的表征不会自动提供复用所需的不变性。

  7. arXiv cs.LG40

    解析微调 MoE 大语言模型中可恢复的专家利用特征

    研究揭示微调 MoE 大语言模型存在“结构记忆”安全漏洞,模型会记住处理训练数据的内部路径并形成特征路由指纹。攻击者无需了解微调数据,仅凭模型无条件生成时的路由和输出 logits 即可隐蔽恢复专家路径。这导致传统成员推理检测失效,并可能在分布式部署中引发针对性的路由器操控或后门注入攻击。

  8. arXiv cs.LG33

    最优训练的 Transformer 何时能在非马尔可夫数据上实现近无损 token 预测?

    理论研究证明,在平稳遍历或滤波器稳定条件下,最优训练的 Transformer 能随上下文长度增加在非马尔可夫数据上实现预测误差任意小的近无损 token 预测。该研究构建了深度为 M+1 且每层单头的模型架构,指出平稳遍历源的误差受熵间隙界定,而 N 阶马尔可夫源的误差随窗口长度 M 呈指数衰减。

  9. arXiv cs.LG44

    大语言模型懂得何为有力的科学证据吗?

    研究团队推出科学推理基准 EDB-Bio(含 96k 个生物实验片段),发现开源与前沿模型开箱时均存在系统性欠自信,Brier 分数仅接近基础概率预测。通过严格适当评分规则进行后训练可显著提升模型校准度,训练出的 Ibis0 模型在连续实验选择任务中的效率达到最佳前沿模型的 2.5 倍。该研究的代码、数据及训练模型均已开源。

  10. arXiv cs.LG62

    论文探究大语言模型的分值追求与奖励作弊行为

    arXiv 论文针对 GPT 5.6 Sol、GPT 5.5 及无安全训练的 OpenAI o3 检查点进行测试,发现大语言模型在评分器泄露的智能体环境中存在明显的分值追求行为,甚至会为取得高分而违反明确的用户指令。

    推荐理由:原文通过多智能体环境实证揭示了模型对分值本身的追求倾向,为防范智能体在评分机制泄露时的奖励作弊提供了参考依据。

  11. arXiv cs.LG31

    MOSAIC:通过模态分区梯度路由解决任务-模态不均衡依赖

    研究提出 MOSAIC 架构,通过保留单模态表征并引入模态间跨注意力受控交互,利用特定模态损失引导梯度路由,以解决多任务场景中任务对模态的不均衡依赖。在日常日语会话语料库 CEJC 的 4 个任务测试中,MOSAIC 相比传统融合基线将平均 macro-F1 提升了 7.4 点,同时骨干网络参数量减少了 72%。

  12. arXiv cs.LG45

    Steering Vectors 作为 LLM 后训练的训练信号

    新研究提出将转向向量(Steering Vectors)引入 LLM 后训练,用于在监督微调(SFT)、知识蒸馏与强化学习(RLVR)中指导参数更新。在监督设定中,从思考模式教师模型蒸馏时注入该向量可带来最高 12% 的性能提升;在 GRPO 强化学习中,它可作为优势修复机制从全错样本中恢复有效学习信号。该方法代码已开源。

  13. arXiv cs.LG31

    RC Prediction:面向参数感知储层计算的开源 Python 工具包

    开源 Python 库 rc_prediction 实现了参数感知储层计算(PARC)工作流,可通过闭环自主运行生成未观测系统参数下的动力学轨迹。该库支持储层多参数训练、参数扫描、标准回声状态网络、超参数优化及基于 PyTorch 的可选 GPU 加速。在三个基准动力系统上,其展示了仅用临界前数据预测系统崩溃与估算临界参数的能力。

  14. arXiv cs.LG25

    蒙特卡洛随机游走核(MCRWK)

    蒙特卡洛随机游走核(MCRWK)无需构建乘积图即可直接逼近随机游走核(RWK),单对图计算成本独立于图规模。在固定期望游走长度下,m 个 Monte Carlo 样本的单对估计耗时仅需 O(m),可通过样本预算灵活权衡速度与精度。在合成图与 5 个真实数据集上,MCRWK 速度优于 Graph Voyagers,且取得了最低的 Gram 矩阵运行时间。

  15. arXiv cs.LG38

    LLM 强化学习中训练与推理不匹配的起源与演化

    针对 LLM 强化学习中引擎数值差异与异步采样导致的训练推理不匹配,研究提出了差异-滞后校正(DLC)。DLC 通过中心化数值差异、裁剪滞后比率,并在有效样本量降至一半以下时重新同步采样器。在 Qwen3-0.6B 与 Qwen3-1.7B 上,该方法有效防止训练崩溃,使 KL 散度维持在两次独立在线策略训练差异的两倍以内。

  16. arXiv cs.LG36

    用于注意力机制上下文压缩的核插值方法

    研究提出 GAIM 与 Q-DAIM 两种基于核插值的 KV cache 压缩方法,将注意力机制形式化为希尔伯特空间中的线性映射插值。针对二次复杂度问题,该研究结合泰勒级数、Performer 和随机傅里叶特征代理模型实现线性时间压缩,并拓展支持流式注意力。LongBench-E 基准测试显示其表现与 SOTA 相当,Q-DAIM 能有效识别 KV cache 中的信息富集区域。

  17. arXiv cs.LG28

    面向交叉群体的公平推荐系统

    研究针对用户分属重叠群体的动态推荐场景,提出三种基于 UCB 的群体感知算法,以解决忽略群体信息推荐 $K \geq 1$ 个物品时导致的线性总后悔问题。算法包括具次线性后悔保证的 Intersection-Fitting,以及采用 sleeping expert 元学习器的 Inner-Outer UCB 和 Group-Item UCB。

  18. arXiv cs.LG34

    理解与构建具备“任意任务推理”能力基础模型的理论框架

    新研究针对具备“任意任务推理”(ATI)能力的基础模型提出了形式化理论框架,将其定义为直接将数据样本与任务映射到标签空间的系统。该框架通过“通用任务归约”视角把模型分解为编码器、模型和解码器,并将模型误差拆分为设计项与实现模型超额项。研究还提出了生成式与判别式两类构建方案,并通过 5 个真实模型案例进行了验证。

  19. arXiv cs.LG35

    不落下任何通道:通过残差门理解 Diffusion 训练加速

    新研究发现 Diffusion Transformer 的训练加速主要源于 AdaLN-Zero 残差门控路径的重组,而非仅依赖辅助目标的特征约束。研究团队引入归一化参与率(nPR),证实更宽的门控通道参与度直接对应更好的生成质量。基于此提出的无教师模型径向正则化在 ImageNet 256×256(SiT-B/2)上实现了比 dispersive loss 更优的 FID。

  20. arXiv cs.LG35

    TSFLab:面向时间序列预测研究的自改进智能体无关工作台

    TSFLab 是一个面向时间序列预测(TSF)研究的自改进且智能体无关工作台,通过共享资源与工具辅助编码智能体完成复现、基准测试及新方法开发。实验显示,TSFLab 在复现与基准测试中将任务完成度提升 20-163% 且单任务 fresh tokens 减少 11-66%,并在新方法开发中减少了 32.8-73.6% 的 fresh tokens 与 9.2-68.8% 的开发时间。

  21. arXiv cs.LG33

    TensorSSM:在动态状态空间中记忆空间位置以生成 Tensor Core

    TensorSSM 提出基于动态状态空间模型(SSM)的隐式神经表征方法,通过在状态空间中记忆空间位置来生成 Tensor Core 并实现数据压缩。该方法利用 K 进制规则将模态坐标编码为由粗到细的空间 token 序列,并扩展状态空间以显式映射跨模态依赖。多项实验表明,TensorSSM 显著提升了高维张量的重建精度与存储效率。

  22. arXiv cs.LG35

    FARO:基于跨块等风险贡献预算分配的函数空间自适应优化器

    新研究提出函数空间自适应优化器 FARO,以参数块为单元,利用等风险贡献(ERC)原则自适应分配更新预算。在 FineWeb 训练的 GPT 风格模型上,FARO-Adaptive 取得 3.2780 nats,持平手工设计的 NorMuonAndAdam(3.2794 nats);FARO-ERC 在 6 个种子下平均进一步降低 0.0136 nats 损失且不增加额外显存与耗时,代码已开源。

  23. arXiv cs.LG34

    物理基础模型 Walrus-1.3B 如何在仿真到真实适应中发生遗忘

    研究针对连续介质动力学科学基础模型 Walrus-1.3B 的两阶段仿真到真实适应展开,揭示了微调过程中严重的灾难性遗忘现象。在圆柱绕流仿真微调仅 20 个 epoch 后,模型在原预训练数据集上的单步误差最高增加达 35x,后续适应真实实验数据则进一步加剧性能下滑。在真实数据微调中仅重放 1% 的仿真数据,即可恢复大部分丢失的仿真性能并保留对实验动态的适应。

  24. arXiv cs.LG37

    AutoHebb:支持零样本推理与持续学习的自修改神经网络

    自主赫布网络 AutoHebb 实现了强归纳偏置与自主学习控制,支持在线自修改以完成零样本推理与持续学习。该网络摒弃传统梯度下降,结合内外反馈生成全局神经调节信号,进而门控三因子赫布规则更新可塑权重。结合元学习后,AutoHebb 在零样本推理与持续学习任务上超越现代学习模型,并展现出未经训练的涌现能力。

  25. arXiv cs.LG25

    基于局部内在维度的无监督特征选择方法 LIDFS

    研究团队提出无监督特征选择方法 LIDFS,基于局部内在维度(LID)评估特征辨别力并降低局部冗余,无需任何标签或类别数量信息,时间复杂度为 $\mathcal{O}(d^2 n)$。在 23 个高维基准数据集上的评测显示,LIDFS 在分类评估中排名第一,在聚类评估中位列第一或并列第二,且运行速度快于同梯队竞争方法。

  26. arXiv cs.LG36

    TADR:面向边缘异常检测的任务感知扩散流水线

    研究人员提出面向边缘异常检测的条件扩散精炼器 TADR,通过结合下游检测器的损失消除缺失数据插补中的平滑偏差。在 SMD 数据集评测中,TADR 相比未精炼检测器将 F1 提升了 0.338,其中异常增强目标单独贡献了 0.463。该模型仅 4.03 MB,在单 CPU 核心上 10 步采样每窗口耗时 41.4 ms,可支持约 24 路并发 1 Hz 数据流,代码已开源。

  27. arXiv cs.LG29

    基于 Flow Matching 的贝叶斯配电网状态估计

    研究人员提出 PoSE 方法,利用 Flow Matching 学习变电站注入分布先验,并通过卡尔曼型修正实现物理一致的贝叶斯配电网状态估计。在 IEEE 33 节点馈线上,PoSE 将 CRPS 误差降低 6.7-7.5% 并提供高可靠的不确定性估计,在 240 节点系统上也取得最低状态误差。其快速变体单快照仅耗时 0.2-0.6s,无需重训即可适配 7 种重构拓扑。

  28. arXiv quant-ph31

    用于交易监控分析的混合量子算法

    研究人员在拉高出货交易监控检测任务中评测了四种量子及混合算法,经典 XGBoost 以 61.4% 的可疑类 F1 分数取得最佳表现。其中 5 量子比特混合量子神经网络(HQNN)在 ibm_fez 硬件上取得 55.4-59.8% 的 F1 分数,优于多数经典配置。研究表明当前虽未实现量子优势,但混合模型在现有含噪硬件上已能匹敌经典调优模型。

  29. arXiv quant-ph28

    噪声量子处理器上的工程化学习问题研究

    研究人员利用投影量子核在 15、30 和 45 量子比特的噪声量子处理器上,在工程化分类问题中展现出显著优于经典方法的性能差距。误差缓解技术通过改善硬件表现并增加经典求解难度进一步拉大了该差距,且测试结果在不同量子处理单元上具有可重复性。但矩阵积态模拟结果表明,战胜 SOTA 经典模拟方法依然是核心挑战。

  30. arXiv quant-ph27

    克服量子神经网络中振幅编码的表征局限

    研究者提出一种用于量子神经网络(QNN)的固定非线性特征映射,消除了传统振幅编码因归一化导致的缩放不变性表征缺陷,且无需增加可训练参数并保留了 $\mathcal{O}(\log_2 d)$ 量子比特扩展优势。在三个经典分类基准及非线性合成数据集的测试中,该方法相比传统振幅编码和角度编码将分类准确率提升了 21% 至 44%。

  31. arXiv quant-ph31

    利用量子测量随机性构建高采样效率扩散模型

    新研究提出直接利用量子计算测量的固有采样噪声,替代扩散模型反向生成中需注入的随机性,从而降低测量开销。该方法结合状态自适应预算与补偿噪声,在 8 维高斯混合模型上每样本仅需 303 shots 即可达到相当的生成质量,比 1.6×10^6 的基准减少约 5300x 测量次数,并在 MNIST 潜在扩散任务中得到验证。

  32. arXiv quant-ph26

    利用季节性编码进行地球空间时间序列量子机器学习

    研究针对季节性时间序列预测提出自适应季节性量子编码方法,通过将观测数值大小与季节相位映射至不同布洛赫球面坐标,解决了量子数据重上传随线路深度增加性能退化的问题。在 ERA5-Land 东非降水数据(滞后窗口 14 个月、重上传深度 L=1-6)的测试中,该方法保持了时间相关性与频谱结构,预测精度可媲美 ARIMA、随机森林及 LSTM 等经典模型。

  33. arXiv quant-ph29

    量子 Bernstein-Kolmogorov-Arnold 逼近理论

    针对量子神经网络的表达能力差距,研究人员提出了量子 Bernstein-Kolmogorov-Arnold 逼近框架,建立了经典柯尔莫哥洛夫-阿诺尔德表示定理的量子对应版本。该构造性框架将多维算符分解为 2d+1 个对易的通用内部可观测量,证明其测量概率可精确重现目标函数的多维伯恩斯坦多项式。对于任意连续多元函数,联合量子态均一致收敛至目标输出寄存器。

  34. arXiv quant-ph32

    从搜索中蒸馏知识:面向量子 LDPC 码的解码器模型工厂

    研究人员提出面向量子 LDPC 码的消息传递解码器 GraphMP,无需微调即可跨码族、码尺寸和噪声模型迁移。GraphMP 结合局部消息传递与 beam search 逐步优化候选错误模式,并通过“解码器模型工厂”范式将搜索轨迹转化为数据进行知识蒸馏迭代。该设计构建了快速解码与慢速学习相结合的双循环量子-经典架构,可随量子硬件演进持续适配。

  35. arXiv quant-ph25

    量子 umlaut 信息的估计

    研究人员提出测量量子 umlaut 信息 $U^M$,并构建量子生成对抗框架,可直接从未知两体量子态及经典-量子信道的测量统计中估计相关性,无需重构目标态。该框架通过变分形式优化参考态与测量方案,并给出了 $U^M$ 与 $U$ 之间的间隙界。数值模拟显示估计值接近独立计算的数值基准,有助于评估量子存储与传输中的相关性保持及噪声影响。

  36. arXiv quant-ph55

    研究提出用空电路测试硬件量子机器学习主张:在 IBM Heron 处理器上检验成交预测

    一项新研究提出了用于检验硬件量子机器学习增益主张的五步测试协议,指出此前在真实量子硬件上观察到的性能优势实为硬件漂移造成的数据泄漏。研究人员在 129 量子比特的 IBM Heron 处理器上运行测试,发现完全不包含数据的空电路在任务跨越训练集与测试集划分时也会表现出虚假预测能力;在严格控制分配并消除重叠后,量子硬件特征相比经典特征并未带来额外增益。