跳到正文

#数据/训练

今日 1 条
10月7日周三
  1. IEEE Spectrum36

    HiPHI:面向高精度人体动作与物体交互的大规模基准

    HiPHI 是一个面向人形机器人学习的 617.5 小时光学全身动作捕捉数据集与基准,采集精度达到亚毫米级。其包含 245.7 小时人与物体交互数据及同步物体轨迹和网格,并基于语言框架 FrameNet 组织动作覆盖。基于该数据集训练的强化学习策略已成功通过 sim-to-real 迁移部署至物理 Unitree G1 人形机器人。

  2. Scientific American46

    什么是 AI 模型知识蒸馏,为何它如此难以防范?

    AI 知识蒸馏是指将大尺寸“教师模型”的输出作为训练数据,以极低成本训练出具备相似能力的小模型。9 月 Anthropic 与 OpenAI 披露阻断了针对其旗舰模型的蒸馏行动,指责竞争对手提取模型回复与加密推理过程来复制核心能力。由于攻击者仅需调用模型并收集响应即可完成逆向工程,导致知识蒸馏极难被彻底防范。

  3. arXiv cs.LG37

    面向智能体强化学习的 MoE 专家选择结构化方法

    针对智能体长程任务中标准强化学习导致 MoE 路由失控的问题,研究者提出了一种分层路由控制框架。该框架促使轮次级专家选择与智能体操作对齐,同时正则化 token 级专家选择以维持局部一致性,并引入熵门控机制保障后训练稳定性。评测结果显示,该路由控制框架在所有测试基准上的成功率均实现了超过 10 个百分点的提升。

  4. arXiv cs.LG42

    面向时间序列基座模型的尺度不变训练

    研究提出面向时间序列基座模型(TSFM)的尺度不变训练方法(ScaleIn),通过直接在缩放目标上计算损失,解决高尺度序列主导训练的尺度污染问题。在 4 种 TSFM 架构预训练中,ScaleIn 使 GIFT-Eval 和 M-competitions 上的 MASE 平均降低 18.8% 和 21.9%。该收益还拓展至监督神经预测任务,现有预测流程通常仅需一行代码改动即可接入。

  5. arXiv cs.LG33

    Lock-in EP:面向振荡硬件的原位训练算法

    锁相平衡传播(LIEP)训练算法可为振荡网络中每个组件提供局部梯度信息,无需单独的前向与反向传递,实现了模拟振荡硬件的原位训练能力。LIEP 可表示为三因子更新规则,不仅支持从头训练,还能在预训练参数受扰动时恢复性能。目前该方法已在浅层网络上完成验证,有望进一步扩展至深层与大规模网络。

  6. arXiv cs.LG34

    BiToK-SD:面向大语言模型自蒸馏的双层 Top-K Token 选择方法

    研究人员提出面向大语言模型 on-policy 自蒸馏的 BiToK-SD 方法,通过双层优化自适应学习在哪些 token 位置执行蒸馏。该方法在底层将 Top-K token 选择建模为可微阈值松弛,在上层对选定位置实施知识蒸馏,使选择位置能够随学生策略自适应调整。在数学推理基准测试中,BiToK-SD 仅需轻量额外计算便在所有对比方法中取得最佳平均表现。

  7. arXiv cs.LG36

    提示词级差分隐私下的奖励驱动学习

    研究人员提出了首个支持提示词级差分隐私的可验证奖励强化学习(RLVR)方法,以防止模型泄露机密训练题目。在 ε=8 隐私预算下使用 LoRA 训练 Qwen2.5-1.5B-Instruct,该方法在 MATH 与 GSM8K 上比私有监督微调高出 2.3 至 3.8 分,保留了非私有 GRPO 85%–90% 的性能增益,并可成功泛化至 CommonsenseQA 任务。

  8. arXiv cs.LG36

    DRMoET:分布鲁棒的混合专家(MoE)训练方法

    研究团队提出即插即用的 MoE 训练目标 DRMoET,通过优化高损失路由结果并强化潜在的非首选路由路径,解决专家路由失误引发的可靠性问题。在 FLAME-MoE 架构的 10.3B 参数与 67B 训练 token 规模下,DRMoET 将 7 项任务平均分从 0.6625 提升至 0.6767,并在强制错误路由测试中降低 4.3% 的超额损失。相关代码已开源。

  9. arXiv cs.LG41

    基于量化充分统计量的精确机器遗忘方法 QSS

    研究提出精确遗忘方法 Quantized Sufficient Statistics(QSS),将模型解耦为冻结模式与局部加性统计量,将数据删除转化为精确减法。该方法提供仅移除标签的 QSS-L 与彻底移除输入和标签的 QSS-E 两种保证。在 15 个数据集测试中,QSS-L 在 11 项任务上与 SISA 相差 2 个百分点以内,且期望删除延迟降低 4-483x。

  10. arXiv cs.LG45

    从人类科研决策轨迹中学习科学探索

    研究团队推出 ResearchTrails 数据集,利用 Git 仓库的提交历史提取涵盖方法、实验与消融改动的结构化科研决策轨迹。该数据集保留了最终论文未体现的中间探索信号,填补了科学语料缺乏过程记录的空白。ResearchTrails 可在测试时检索科研经验作为外部技能,或用于训练模型以提升对新研究决策的泛化能力。

  11. arXiv cs.LG26

    非平稳市场中深度对冲的对抗训练

    研究提出面向非平稳市场深度对冲的对抗训练框架 WRAP,基于双预算分布鲁棒优化(DRO)应对时间漂移与分布误设。该方法结合 $\phi$-散度轨迹重加权与最优传输(OT)路径扰动构建对抗攻击,将内层分布优化转化为可计算的一阶近似。在 Heston 动态及广义仿射扩散(GAD)实验中,联合对抗训练在非平稳环境下表现出最优增益。

  12. arXiv cs.LG36

    Muon 理论上不适用于卷积,但在实证中依然有效

    针对 Muon 优化器将 4D 卷积核重塑为矩阵会破坏理论基础的问题,研究团队在卷积算子几何中提出了近似极因子的 Conv-NS 算法。在 CIFAR-10 和 ImageNet 图像分类任务中,理论对齐的 Conv-NS 与基于重塑的 Muon 计算效率与准确率相当,研究推测精确卷积正交化可能过度约束了参数更新。相关代码已在 GitHub 开源。

  13. arXiv cs.LG31

    重放必须保留什么?区分可纠正偏差与类别对应关系

    针对类别增量学习中的 DER++ 等 Logit 重放方法,新研究发现删除后续类别预测匹配造成的精度损失大多属于可修正的分类器偏差。在 CIFAR-100 测试中,任务级偏移将删除该匹配的损失从 14.9 点降至 1.8 点,而破坏已知类别的得分对应关系则会带来约 4.0 点持久损失。相关代码与数据已开源。

  14. arXiv cs.LG36

    TRIAGE:面向原生 NVFP4 强化学习的方向感知偏差稳定方法

    研究团队提出 TRIAGE 方法,解决大语言模型原生 NVFP4 强化学习中采样与学习执行不匹配导致的优化不稳定问题。该方法在保留两端 NVFP4 W4A4 前向执行的同时,通过片段级诊断重平衡策略梯度更新并修复严重偏差。在 Qwen3-4B 和 Qwen3-30B-A3B 上的实验表明,其在 5 个数学推理基准上达到全精度表现,rollout 吞吐量较 BF16 最高提升 2.3x。

  15. arXiv cs.LG35

    DART-ES:面向进化策略大语言模型微调的难度感知重加权与针对性回放

    DART-ES 通过动态感知问题难度进行重加权与样本回放,实现了无需反向传播的大语言模型全参数进化策略微调。在 GSM8K 上,它将平均准确率提升至 73.53%,超越 GRPO 的 73.26%,并成功扩展至 14B 模型。相比 GRPO,其单步运行时间减少 15.2%–50.2%,单 GPU 峰值显存降低 21.1%–51.1%,显存与耗时均低于 GRPO+LoRA。

  16. arXiv cs.LG35

    面向制造业的事件驱动机器学习流水线编排:AWS 实践经验

    面向汽车制造的事件驱动机器学习架构实现了自动化 GPU 训练编排,在 40000+ 生产任务中较常驻 GPU 降低 72-78% 成本。系统结合 Amazon ECS、EC2 GPU 容量提供程序与准入控制 Lambda 调度器,协调物理预测和强化学习控制策略的重训。离散事件模拟显示无准入控制会丢失 65% 的任务,相关模拟器与 Terraform 模块骨架已开源。

  17. arXiv cs.LG37

    外部引导何时助力大语言模型推理?GA-GRPO 的偏差-方差理论

    研究提出 GA-GRPO 理论框架,从偏差-方差角度量化外部引导在大语言模型推理中的影响,并推导出闭式最优引导权重。该框架将 GRPO、LUFFY、ExPO 等统摄为特例,证明其收敛速率为 O(1/sqrt(T))。在 Qwen2.5-Math-7B-Base 上的 9 项基准测试显示,GA-GRPO 表现持平或超越 TAPO 等方法,同时节省 31% 的 GPU 时长。

  18. arXiv stat.ML34

    分层推理奖励的强化学习:基于 Transformer 的极小化极大最优速率

    新研究证明基于 Transformer 的 actor-critic 强化学习算法在分层推理奖励下,能在查询预算与正则化强度上达到极小化极大最优速率。该算法交替进行 KL 正则化策略采样、Transformer critic 拟合及策略更新,并在固定 prompt 数量下实现极小化极大最优。对比显示离线采样会使 regret 衰减受限于对数速率,这从理论上量化了 on-policy 探索的优势。

  19. arXiv stat.ML28

    对称感知特征学习:多指标模型的多项式分离

    一项理论研究确立了对称感知与无对称特征学习之间存在多项式级别的样本复杂度分离。在球面在线 SGD 训练下,全群数据增强与权重共享卷积网络样本效率相当,对于信息指数 $p\ge3$ 仅需 $\widetilde{\Theta}(d^{p-1})$ 样本即可实现弱方向恢复,而无对称学习则需要 $\widetilde{\Theta}(rd^{p-1})$ 样本。

  20. arXiv stat.ML34

    超越边际监控:面向大规模电商数据概念漂移的分布式联合分布检验

    研究人员在 1.375 亿行电商特征表等基准上评估发现,基于 Apache Spark 的随机傅里叶特征分布式最大均值差异方法能稳健检测概念漂移。该方法在强漂移场景下与预期漂移幅度的皮尔逊相关性达 r = 0.940,真阳性率为 80.4%,假阳性率为 3.2%。相比之下,逐维度 Kolmogorov-Smirnov 检验因非对称采样下 ID 类列的统计饱和而失效。

  21. arXiv stat.ML33

    学习 GFlowNet 混合模型

    研究提出了描述 GFlowNet 混合模型的通用理论框架,划分为连续索引(CI)与离散索引(DI)集合。CI GFlowNets 能增强图结构任务的表达力并通过谱平移降低不稳定性。基于 DI 提出的分层条件 GFlowNets(SC GFlowNets)支持易并行训练,在不增加显著额外计算的情况下大幅提升收敛速度与模态覆盖率。

  22. arXiv stat.ML35

    Muon 是否需要细粒度谱整形?

    新研究提出 BulkBoost 双频带谱重加权框架,证明优化器 Muon 无需复杂的细粒度谱映射,仅靠单一增益提升主体模态权重即可优化训练。在覆盖 Pythia-14M 至 410M 的 30 个持续预训练设置中,相比 Muon 的基线更新,该两频带变体将最终损失降低了 0.073%–0.147%,优于细粒度方法 Freon 的 0.022%。

  23. arXiv stat.ML31

    多任务主动学习的高效资源分配框架 ALCATRAs

    研究提出多任务主动学习框架 ALCATRAs,用于在标注阶段可获取高成本辅助变量但部署预测时变量缺失的场景下,在预算约束内优化数据采集并提升预测性能。该框架由策略性挑选高性价比任务的任务选择策略,以及跨任务迁移知识的代理学习流程组成。理论分析与 UCI 心脏病数据集实验表明,ALCATRAs 相比基线方法显著提升了样本效率。

  24. arXiv stat.ML24

    平均场 Langevin 动力学中统计特征学习的几何结构

    研究提出了一种用于监督回归中统计特征学习的几何表述,通过底-纤维分解定义特征学习,并在球面平均场 Langevin 动力学中证明了该性质。在多指标高斯模型中,其低温平稳分布在温度 $\lambda\asymp 1$ 处发生突变并形成多尖峰结构,能以高概率恢复隐藏参数。在单指标模型中,诱导特征空间对齐了回归信号,在对数因子下达到 $d/N$ 与 $Md/N$ 的收敛速率。

  25. arXiv stat.ML37

    一张卫星图像包含多少独立样本?空间相关数据的泛化界

    研究证明对于空间相关范围为 r 个像素的 n×n 卫星图像,机器学习分类器的有效样本量为 Θ(n²/r²) 而非 n²,并推导出紧确的有限样本泛化界。该结论为空间交叉验证提供了理论支持,指出随机留出法会将置信区间宽度低估达 r 倍;相关理论已在合成数据及 Landsat 8、Sentinel-2、Sentinel-1 卫星图像上完成验证。

  26. arXiv stat.ML36

    自然梯度下降有多低效?从精确最优到 \Theta(\sqrt{\log d}) 发散

    一项研究量化了自然梯度下降(NGD)对比 Fisher-Rao 最短路径的低效比率 R,证明在每步 Fisher 弦长预算下,NGD 渐近所需步数至少为后者的 R 倍。理论与实验表明,二次势函数或一维分布下 R=1 达到精确最优,而尺度族乘积中 R 会随参数维度 d 以 \Theta(\sqrt{\log d}) 发散,并在高维测试中达到 R \approx 1.5。

  27. arXiv stat.ML27

    面向变量测量误差的数据融合

    针对目标研究仅含单次易错测量的问题,研究提出面向变量测量误差的数据融合估计器 Fuse-EIV,通过条件可迁移性假设利用外部重复测量数据进行辨识。该方法结合条件反卷积、干扰参数估计与正交修正,建立了统一谱理论并推导出目标特定的收敛界。模拟实验显示 Fuse-EIV 的主要暴露相关系数偏差较小,并已成功应用于国家健康与营养调查数据。

  28. 科学网47

    中国科学家成功绘制水稻全生命周期时空细胞图谱

    中国多家科研团队首次构建出覆盖水稻全生命周期的三维时空细胞图谱,成果发表于《细胞》期刊。该研究覆盖水稻10类器官与61个发育阶段,获取约85万个高质量细胞核数据及超34万个空间数据单元,注释出119种细胞类型和133个细胞亚型。团队还建立了交互式在线平台,并开发出水稻单细胞基础模型 RICE scGPT。

  29. Apple ML Research33

    RISED:基于评价准则的智能体多环境数据选择与自蒸馏

    研究人员提出多环境智能体训练框架 RISED,利用行为评价准则(rubrics)指导在线数据选择与策略监督。该方法通过大语言模型标注跨环境行为画像,以正向准则为自蒸馏提供 token 级监督,并以负向准则引导生成规避重复失败。测试显示,RISED 在不同骨干模型上均取得最高跨环境平均 pass rate,并在各独立环境中排名前两位。

  30. TechCrunch · AI29

    Mirror Particle 正在构建人类行为“世界模型”

    初创公司 Mirror Particle 正在从零构建模拟人类行为变化的“世界模型”,旨在为品牌提供预测消费者行为及背后动因的 AI 引擎。该公司避开单纯微调大语言模型的方式,转而结合客户数据、时事与社交媒体追踪真实行为及动态演变。目前 Mirror Particle 已完成天使轮融资并即将完成首轮风投,初期业务聚焦市场研究与品牌策略。

10月6日周二
  1. arXiv quant-ph27

    降低量子核模型训练成本

    新研究提出通过样本降采样与 Nyström 低秩近似降低非变分量子核模型的训练成本。在 ZZ-QSVR 实验中,结合 500 样本与 5 标志点近似将核评估计算量从约 8.0 million 降至 2,485 次(降幅超 3,200 倍),AP 仅从 0.812 微降至 0.737。按 IonQ 最低定价基准估算,该方案可将训练成本从约 $1.34 billion 降至 $417,480。

10月5日周一
  1. arXiv stat.ML33

    基于采样的生成模型的决策感知训练

    研究人员提出面向基于采样生成模型的决策感知训练方法,将 energy score 目标与可微决策损失结合,直接惩罚依据模型预测行动产生的成本。该方法通过可微优化层计算损失,使梯度集中在成本敏感区域。在合成任务、风电调度及防霜冻任务的测试表明,该模型在保留完整概率预测的同时,更好地对齐了决策者的成本结构。

  2. arXiv stat.ML29

    空中计算联邦学习(AirFL)在多天线基站衰落信道下的差分隐私研究

    研究人员针对多天线基站多址衰落信道下的空中计算联邦学习(AirFL),证明了无需注入人工噪声即可直接利用固有信道噪声获得用户级差分隐私(DP)。该研究推导了通用模型参数有界假设下的收敛 DP 界,以及通用平滑非凸损失函数下的收敛界。通过联合优化接收波束赋形与功率分配,该方案刻画了最优收敛与隐私权衡,并揭示了无需牺牲训练性能即可实现 DP 的明确条件。

  3. arXiv stat.ML34

    基于 CVaR 惩罚 Wasserstein 梯度流微调极端事件生成模型

    研究人员提出 CVaR-GPA 算法,通过 CVaR 惩罚的 Wasserstein 梯度流,无需访问模型内部架构即可将生成模型微调至重尾极端事件分布。该算法仅依赖标量尾部统计量即可在欠采样的尾部区域激活速度场。在覆盖 GAN 与扩散模型等 7 种预训练模型的测试中,CVaR-GPA 将全局与尾部误差几何平均分别降低 14.0x 和 9.8x。

  4. arXiv stat.ML44

    Planning to Learn:连接交叉熵与精确策略梯度的 Horizon Loss

    研究针对策略梯度在分类任务中表现短视的问题提出 Horizon Loss,通过单行代码修改让模型在训练接近尾声时从交叉熵平滑过渡到精确策略梯度。在 MNIST 以及基于 ResNet-50、ResNet-101 和 ViT-S/16 的 ImageNet 实验中,该损失函数在恒定学习率下均提升了 Top-1 准确率,且增益随标签噪声增加而扩大。

  5. arXiv stat.ML29

    欠完备线性自编码器中的尺度对称性破缺

    有限步长随机梯度下降(SGD)会打破欠完备线性自编码器的尺度对称性,并在 PCA 解流形上促使解码器权重发生定向增大的尺度漂移。该漂移具备可解析的动力学描述且受限于有限步长稳定性边界,导致最终解在损失 Hessian 最大特征值上比平衡基线更陡峭。这阐明了损失几何如何将残差梯度噪声转化为沿功能等价解流形的定向运动。

  6. arXiv stat.ML45

    深度表格生成模型在多小样本下不再优于简单基线?一项预注册基准评测

    一项涵盖 2,220 次运行的预注册评测显示,在 200 至 20,000 行样本量下,深度表格生成模型在 23/24 的组合中均未超越简单基线。在对比 CTGAN、TVAE、TabDDPM 等 7 种生成器时,最佳简单基线赢下 49 个单元中的 40 个,81% 单元的前两名差距甚至小于种子噪声。此外,原生小型临床数据集与降采样数据集的算法排名仅中度一致。