跳到正文

#论文/研究

今日 0 条
10月15日周四
  1. arXiv quant-ph34

    利用全息量子电路采样实现时间序列生成学习

    研究人员提出全息量子电路采样(HQCS),通过结合电路中途测量、量子比特复用与独立参数化时间块,使用固定数量的量子比特生成时间序列轨迹。理论上,HQCS 针对特定损失方差证明了反多项式界,避免了指数级损失集中,并将特定非平稳过程的精确生成门数量从二次方降为线性。仿真实验显示,HQCS 学习历史波动率指数(VIX)轨迹的最大均值差异比测试的经典基准低 10 倍以上。

  2. arXiv quant-ph30

    利用 AI 降低量子应用开发中的信任成本

    研究提出一种结合生成式 AI 与形式化验证的开发方法,旨在降低人工核验量子线路正确性所产生的“信任成本”。该方法将实现划分为目标数学规范、量子线路,以及证明两者一致的对应定理与证明,使人类仅需审查规范与定理陈述,而将定理证明交由机器自动核验。研究以随机粒子系统时间演化的实现作为具体范例展示了该方案。

  3. arXiv quant-ph26

    用于希格斯玻色子事件分类的量子机器学习模型样本规模扩展性与表征敏感度研究

    研究人员针对希格斯玻色子事件分类评估了量子支持向量机(QSVM)与变分量子分类器(VQC)的样本规模扩展性及表征敏感度。模型基于 ATLAS 挑战赛模拟数据,在 250 至 4000 个事件的平衡子集上结合 PCA 与自编码器降维进行训练,并以 4 种经典分类器为基准。结果显示较大样本下 QSVM 表现优于 VQC,但两者仍落后于表现最佳的经典分类器。

  4. arXiv quant-ph25

    镜中罗盘:基于 Hopf Ansatz 的量子反向传播

    研究提出基于 Hopf ansatz 的量子反向传播方法,利用逆向 Hopf 框架和相位校准受控反射,通过复用有限测量记录实现完整参数梯度的反向计算。对于包含 $M$ 个实值参数的完整图谱,全局方法的执行采样次数为 $\mathcal{O}(\log\log M)$,检查点方案则为 $\mathcal{O}(\log M\log\log M)$。

  5. arXiv quant-ph29

    量子 Fisher 有效维度能否评估混合量子神经网络?

    研究表明量子 Fisher 信息矩阵(QFIM)的有效维度反映的是电路几何特性,而非混合量子神经网络(QNN)的模型质量。实验显示其与测试准确率的相关性在 -0.72 至 +0.87 之间波动,且在半数配置中会随随机种子改变正负符号;在固定电留下,初始有效维度为 6 至 9,但 CIFAR-10 准确率跨越 23.14% 到 86.44%。

  6. arXiv quant-ph25

    用于量子储备池计算的参数高效多线性读出方法 ML-QRC

    研究人员提出了用于量子储备池计算的多线性读出方法 ML-QRC,通过沿各模式投影保留时间步、量子比特与可观测量构成的张量结构。在指定配置下,ML-QRC 相比全稠密 MLP 减少了 12.0 倍参数,特征块压缩达 12.1 倍。实验表明其在 TFIM 相分类全数据测试中取得最高准确率,并在 Mackey-Glass 预测中显著改善了神经读出在低数据场景下的稳定性。

  7. arXiv quant-ph33

    量子视觉 Transformer(QViTs)的实证扩展定律

    量子视觉 Transformer(QViTs)的数值图像分类实验表明,其验证损失可由量子比特数、Transformer 深度和训练数据集大小构成的联合平移幂律模型良好描述。在等效预测性能下,增加量子比特数能够弥补经典编码器参数量的减少。该发现印证了量子学习模型在参数效率上的优势,为量子机器学习探索资源节省提供了新方向。

  8. Apple ML Research36

    利用语音基础模型中的语言选择性维度检测语码转换

    研究人员提出一种轻量级方法,直接利用预训练语音编码器中的帧级语言信息检测语音中的语码转换(CS)。该方法通过单语录音识别语言选择性隐藏状态维度,并聚合其激活状态进行预测。在 CS-FLEURS 的 14 种语言对测试中,Whisper-small 编码器取得 0.798 的平均 F1 分数,优于 CNN 基线的 0.776 和 HuBERT 线性基线的 0.751。

  9. Apple ML Research51

    Apple 研究团队探索三模态掩码扩散模型的设计空间

    Apple 研究团队系统探索了三模态掩码扩散模型(MDM)的设计空间,在文本、图像-文本与音频-文本数据上完成了从头预训练。研究提出了基于随机微分方程(SDE)的重参数化方法以解耦物理与逻辑批大小,并在 3B 规模与 6.4T tokens 训练下展示了文本生成、T2I 和 T2S 任务的统一生成表现。

10月13日周二
  1. Apple ML Research42

    混合优于调参:数据受限下双语预训练优于超参数搜索

    研究表明在数据受限的预训练场景中,混入高资源辅助语言数据的效果全面优于超参数调优。在 150M 至 1.43B 参数规模及约 1000 次预训练实验中,数据混合带来的下游任务准确率提升相当于 2–13 倍目标语言数据量,且差距随模型规模增大而显著拉大。研究建议优先调整双语混合比例而非进行超参数搜索,并通过 μP 迁移超参数。

  2. Apple ML Research53

    苹果与 JHU 提出 SELFCOMPACT:让大语言模型智能体自主压缩长上下文

    苹果与约翰斯·霍普金斯大学研究人员提出 SELFCOMPACT 框架,使大语言模型智能体无需微调即可在推理期自主决定何时及如何压缩上下文轨迹。该方法结合了上下文压缩工具与轻量级触发规则,在 6 个基准测试和 7 个模型上验证,相比无压缩基线在数学任务上最高提升 18.1 点、智能体搜索任务上提升 5–9 点,同时降低了 30–70% 的单题 token 成本。

  3. Apple ML Research42

    Minions:基于闲置 Apple Silicon 设备构建的动态分布式虚拟 GPU 云

    针对集中式 GPU 基础设施成本高与资源受限等问题,研究人员提出了 Minions,一个聚合 macOS 设备闲置 Apple Silicon GPU 的动态分布式虚拟 GPU 云。该系统旨在执行大规模机器学习推理工作负载,无需额外采购 GPU 硬件。它具备灵活的 GPU 推理任务执行能力、容错机制以及高效的资源利用率。

  4. Apple ML Research38

    大语言模型用于机器翻译质量标注:人类与模型均面临挑战

    研究评估了 LLM 在 MQM 和 ESA 两种主流机器翻译质量评估体系中的表现,发现在多数场景下人类与模型标注仍不可靠。该研究基于覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 数据,指出人类在细粒度 MQM 和低资源语言对上面临挑战,而 LLM 则难以处理微小错误、错误语言变体及错误跨度标注。未来有望通过人机协作流程改善可靠性问题。

  5. Microsoft Research52

    微软研究院提出 StudentSim:通过模拟学生学习优化 AI 导师系统

    微软研究院推出研究系统 StudentSim 与基准 StudentSimEval,利用公开去标识化学习记录训练个性化 AI 学生模拟器,用于在接入真实学生前评估和优化 AI 导师。系统采用两阶段训练来平衡独立行为保真度与教学指导响应性,在国际象棋、英语写作和数学三个领域均优于 GPT-5.4 等基线,并在国际象棋强化学习实验中让 AI 导师准确率达到 90.5%。目前论文与评测代码均已公开发布。

10月12日周一
  1. arXiv cs.LG39

    迈向更易调优的训练算法:AlgoPerf 最新评测结果

    更新后的 AlgoPerf V1 基准发布最新评测结果,在要求 9 个工作负载共用单一配置的自调优规则下,Schedule-Free AdamW 在 13 个 PyTorch 与 JAX 提交算法中排名第一。分析表明,矩阵预处理与两循环方法虽样本效率良好,但需更激进的计算优化才能提升实际耗时竞争力,且学习率与动量跨领域依然高度敏感。

  2. arXiv cs.LG34

    用于轨迹外推的目标约束池化方法 TCP

    研究者提出目标约束池化(TCP)方法,通过解耦有限时域端点与延续形状,并结合均匀池化与匹配增量池化两种互补源信号来修正自由预测。在涵盖 5 个领域的 25,245 个目标轨迹测试中,TCP 使 10 种仅基于目标的预测器平均 RMSE 降低了 35.8% 至 42.1%,并在全部 100 项对比中均取得性能提升。

  3. arXiv cs.LG38

    面向可解释算子学习的低秩 Kolmogorov-Arnold 生成元流

    研究者提出 KAFlow,利用单变量 Kolmogorov-Arnold 函数构建低秩符号学习物理算子生成元,并能自动提炼其闭式解。在基准测试中,KAFlow 将分布外损失降低 3.4 至 11 倍,无需符号模板即可将系数恢复至 10^-4 精度。在长程量子动力学中,其状态不保真度最多降低 6 个数量级,且变阶分数阶算子学习精度比现有网络高 15 倍。

  4. arXiv cs.LG41

    轨迹感知策略优化(TAPO):弥合长程 LLM 强化学习中的状态分布差距

    研究人员提出轨迹感知策略优化(TAPO),通过从离线策略梯度中推导状态分布修正并引入强化学习目标,解决长程自回归推演中的状态分布偏移问题。TAPO 采用几何平均估计器降低方差,并结合长度感知动态裁剪防止轨迹过度更新。在 8 个竞赛级基准测试中,TAPO 相比 GRPO 在数学推理和算法编程上分别取得最高 48% 和 12% 的性能提升。

  5. arXiv cs.LG40

    广义近端策略优化(GPPO):从散度视角统一 LLM 强化学习算法

    研究人员提出广义近端策略优化(GPPO),从散度视角构建起统一 LLM 强化学习算法的理论框架。该方法基于广义 f-散度信任域理论并引入新型估计器拓扑,将 PPO 以及 DAPO、DPPO、RIPO 等变体统一纳入“散度×估计器”二维设计空间中。在 8 个竞赛级数学与代码评测基准上,表现最佳的 GPPO 实例在数学和代码任务上分别超越标准 GRPO 高达 50% 与 14%,取得 SOTA 性能。

  6. arXiv cs.LG26

    离线到在线线性老虎机的高斯宽度界

    针对离线到在线随机线性老虎机中仅有 $k$ 个(共 $d$ 个)特征方向未被充分覆盖的场景,新研究利用高斯向量的 Lipschitz 函数集中不等式收紧了奖励预测误差,提出了一种遗憾界达到 $\widetilde O(k\sqrt T)$ 的分阶段消除算法。

  7. arXiv cs.LG36

    基于中期天气预报的扩散降水生成研究

    研究人员提出了动力学与降水分离框架,利用条件扩散生成器将冻结天气模型的非降水预报映射到对齐观测的日降水。该方法在 Pangu-Weather、GraphCast 和 HRES 等骨干模型上均提升了日降水准确率与事件检测能力,并在全球集合评估中取得优于 ENS 和从头训练 GenCast 的 Brier 分数。基于中国 2,288 个站点的强降水案例研究进一步证实了其在地面观测上的改进。

  8. arXiv cs.LG28

    DataCupid:针对带延迟反馈训练数据获取的稳定匹配修复算法

    研究者提出了用于解决带延迟反馈训练数据获取中匹配修复问题的 DataCupid 框架。该框架提出的剩余负载修复(RLR)算法结合可靠结果证明与分批匹配调度,其二值配额调度实现了系数 cb < 1.607 的严格轮次界限;变体 RLR-P 在实测反馈重放中比基于宽度的基线具有更低的平均封顶更新认证时间。

  9. arXiv cs.LG34

    Controlled-Minimax:基于控制理论稳定对抗优化的新框架

    研究人员提出 Controlled-Minimax 稳定优化框架,通过将训练动态重构为可控物理系统来解决对抗学习中的震荡与不收敛难题。该方法基于二阶常微分方程建模,推导出特定反馈控制器,无论 Hessian 谱特性如何均可提供局部指数稳定性的理论保证。在 Dirac-GAN、StyleGAN2-ada 等基准实验中,该方法成功抑制了震荡并实现快速稳健收敛。

  10. arXiv cs.LG35

    GIST:面向表格基础模型的生成器状态监督方法

    研究者提出表格基础模型监督方法 GIST,利用中间生成器状态揭示标签不确定性,并在条件标签分布上平均 query 损失以减少预训练采样方差。在相同预训练计划且不改变模型架构与推理的前提下,GIST 在 TabArena 和 TALENT 基准上提升了 3 种架构的平均排名,在与硬标签对照组的配对数据集比较中胜率达 62.1%。

  11. arXiv cs.LG34

    基于 LoRA 适配器的个性化联邦直接偏好优化(pFedDPO)

    研究者提出个性化联邦直接偏好优化方法 pFedDPO,让每个客户端在共享全局基座模型上保留本地私有 LoRA 适配器,以解决异构偏好对齐问题。基座模型每轮通过 FedAvg 进行同步,LoRA 适配器则留在本地捕捉客户端特定偏好模式。偏好数据集实验表明,pFedDPO 的梯度范数持续低于原生 FedDPO,同时在训练损失和客户端奖励准确率上保持竞争力。

  12. arXiv cs.LG33

    针对状态相关重尾噪声的鲁棒朗之万采样算法及其在 LLM 微调中的应用

    研究人员放宽了全局 Lipschitz 梯度与有界噪声方差假设,提出适用于状态相关重尾噪声及广义平滑条件的鲁棒朗之万采样算法 RA-LMC。该方法结合鲁棒估计与噪声感知步长,在不依赖耗散性假设下建立了基于 Fisher 信息的非渐近收敛保证。在 LLM 与视觉语言模型的贝叶斯微调实验中,RA-LMC 在准确率和不确定性量化上达到或超越了现有基准。

  13. arXiv cs.LG37

    基于不动点流匹配(FFM)的强化学习

    研究提出不动点流匹配(Fixed-point Flow Matching, FFM),这是一种无需训练数据即可在强化学习中训练和微调流策略的新方法。该方法将 Actor 更新形式化为不动点迭代,以 Critic 的动作梯度作为流匹配回归目标,且理论证明最优策略为该迭代的不动点。实验表明,FFM 既能在离线到在线场景中微调预训练流策略,也能在在线强化学习中从零高效训练流策略。

  14. arXiv cs.LG38

    生成模型何时能充当模拟器

    研究探讨了生成模型通过可编辑性充当模拟器的条件,即修改模型潜状态能否产生与编辑模拟器状态相同的下一步输出。研究对比了训练探针引导和直接学习逆映射两种方式,并在离散棋盘游戏奥赛罗(Othello)与连续环境 Rayworld 中进行了验证。实验发现两种映射的成效高度取决于环境,且逆映射成功证明了模型可被其从未学习过的模拟器所驱动。

  15. arXiv cs.LG25

    基于条件变分自编码器集成的冲击响应谱逆向时间序列合成

    研究人员提出基于条件变分自编码器(CVAE)集成的逆向合成方法,通过循环解码器预测多尺度小波系数重构冲击波形。该方法在四个保留基准数据集上的光谱误差均低于早期时域 CVAE 与 SDS 基准。其单模型批推理每条波形仅需约 0.1-0.6 ms,相比 SDS 的 5-8 s 实现了大幅加速,能快速生成多种匹配目标冲击响应谱(SRS)的候选波形。

  16. arXiv cs.LG43

    在大规模推理与训练负载中部署 RDMA

    字节跳动研发并在参数服务器推理与训练系统中部署了基于硬件 RDMA 的软件通信层 ByteExpress。在生产环境推理中,ByteExpress 相比内核 TCP 分别将平均与 P99 模型参数拉取延迟降低 35.7% 和 43.7%,并降低 10.69% 的总 CPU 使用率。在训练场景下,其将 P99 模型参数推送延迟最多降低 74.0%,且运行时未出现 PFC 暂停。

  17. arXiv cs.LG27

    跨图规模下随机特征 MPNN 的表达能力研究

    研究者提出了一个用于图规模一致近似的总体级理论框架,分析了连续随机节点特征对消息传递神经网络(MPNN)表达能力的限制。研究表明,在初始特征具有与图规模无关的 Lipschitz 界的 MPNN 中,连续随机特征可以量化为有限种颜色且期望输出误差任意小,从而证明这类 MPNN 并不具备图规模一致的通用近似能力。