大语言模型用于机器翻译质量标注:人类与模型均面临挑战
研究评估了 LLM 在 MQM 和 ESA 两种主流机器翻译质量评估体系中的表现,发现在多数场景下人类与模型标注仍不可靠。该研究基于覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 数据,指出人类在细粒度 MQM 和低资源语言对上面临挑战,而 LLM 则难以处理微小错误、错误语言变体及错误跨度标注。未来有望通过人机协作流程改善可靠性问题。
研究评估了 LLM 在 MQM 和 ESA 两种主流机器翻译质量评估体系中的表现,发现在多数场景下人类与模型标注仍不可靠。该研究基于覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 数据,指出人类在细粒度 MQM 和低资源语言对上面临挑战,而 LLM 则难以处理微小错误、错误语言变体及错误跨度标注。未来有望通过人机协作流程改善可靠性问题。
截至2026年10月,全球机器人与物理AI企业年内累计融资接近480亿美元,资金呈现向头部企业集中的趋势。投资重点正从硬件本体制造向机器人基础模型、具身大脑和训练数据环节延伸,Anduril、Skild AI与NEURA Robotics等均完成大额融资。为突破物理交互数据瓶颈,企业普遍开始自建数据采集设施,并尝试通过真实场景的商业部署持续反哺模型训练。
WindBorne 获得美国空军最高达 $49 million 的气象数据采购合同,军方将按需订购特定区域数据,目前已采购 $1.7 million。该公司在全球部署约 700 颗自主气象气球,收集的大气传感器数据除对外出售外,还用于输入其 AI 气象预报模型 WeatherMesh 6。
微软研究院推出研究系统 StudentSim 与基准 StudentSimEval,利用公开去标识化学习记录训练个性化 AI 学生模拟器,用于在接入真实学生前评估和优化 AI 导师。系统采用两阶段训练来平衡独立行为保真度与教学指导响应性,在国际象棋、英语写作和数学三个领域均优于 GPT-5.4 等基线,并在国际象棋强化学习实验中让 AI 导师准确率达到 90.5%。目前论文与评测代码均已公开发布。
更新后的 AlgoPerf V1 基准发布最新评测结果,在要求 9 个工作负载共用单一配置的自调优规则下,Schedule-Free AdamW 在 13 个 PyTorch 与 JAX 提交算法中排名第一。分析表明,矩阵预处理与两循环方法虽样本效率良好,但需更激进的计算优化才能提升实际耗时竞争力,且学习率与动量跨领域依然高度敏感。
研究人员提出轨迹感知策略优化(TAPO),通过从离线策略梯度中推导状态分布修正并引入强化学习目标,解决长程自回归推演中的状态分布偏移问题。TAPO 采用几何平均估计器降低方差,并结合长度感知动态裁剪防止轨迹过度更新。在 8 个竞赛级基准测试中,TAPO 相比 GRPO 在数学推理和算法编程上分别取得最高 48% 和 12% 的性能提升。
研究人员提出广义近端策略优化(GPPO),从散度视角构建起统一 LLM 强化学习算法的理论框架。该方法基于广义 f-散度信任域理论并引入新型估计器拓扑,将 PPO 以及 DAPO、DPPO、RIPO 等变体统一纳入“散度×估计器”二维设计空间中。在 8 个竞赛级数学与代码评测基准上,表现最佳的 GPPO 实例在数学和代码任务上分别超越标准 GRPO 高达 50% 与 14%,取得 SOTA 性能。
研究者提出了用于解决带延迟反馈训练数据获取中匹配修复问题的 DataCupid 框架。该框架提出的剩余负载修复(RLR)算法结合可靠结果证明与分批匹配调度,其二值配额调度实现了系数 cb < 1.607 的严格轮次界限;变体 RLR-P 在实测反馈重放中比基于宽度的基线具有更低的平均封顶更新认证时间。
研究人员提出 Controlled-Minimax 稳定优化框架,通过将训练动态重构为可控物理系统来解决对抗学习中的震荡与不收敛难题。该方法基于二阶常微分方程建模,推导出特定反馈控制器,无论 Hessian 谱特性如何均可提供局部指数稳定性的理论保证。在 Dirac-GAN、StyleGAN2-ada 等基准实验中,该方法成功抑制了震荡并实现快速稳健收敛。
研究者提出表格基础模型监督方法 GIST,利用中间生成器状态揭示标签不确定性,并在条件标签分布上平均 query 损失以减少预训练采样方差。在相同预训练计划且不改变模型架构与推理的前提下,GIST 在 TabArena 和 TALENT 基准上提升了 3 种架构的平均排名,在与硬标签对照组的配对数据集比较中胜率达 62.1%。
研究者提出个性化联邦直接偏好优化方法 pFedDPO,让每个客户端在共享全局基座模型上保留本地私有 LoRA 适配器,以解决异构偏好对齐问题。基座模型每轮通过 FedAvg 进行同步,LoRA 适配器则留在本地捕捉客户端特定偏好模式。偏好数据集实验表明,pFedDPO 的梯度范数持续低于原生 FedDPO,同时在训练损失和客户端奖励准确率上保持竞争力。
研究人员放宽了全局 Lipschitz 梯度与有界噪声方差假设,提出适用于状态相关重尾噪声及广义平滑条件的鲁棒朗之万采样算法 RA-LMC。该方法结合鲁棒估计与噪声感知步长,在不依赖耗散性假设下建立了基于 Fisher 信息的非渐近收敛保证。在 LLM 与视觉语言模型的贝叶斯微调实验中,RA-LMC 在准确率和不确定性量化上达到或超越了现有基准。
研究提出不动点流匹配(Fixed-point Flow Matching, FFM),这是一种无需训练数据即可在强化学习中训练和微调流策略的新方法。该方法将 Actor 更新形式化为不动点迭代,以 Critic 的动作梯度作为流匹配回归目标,且理论证明最优策略为该迭代的不动点。实验表明,FFM 既能在离线到在线场景中微调预训练流策略,也能在在线强化学习中从零高效训练流策略。
研究者提出跨行为策略优化 CBPO,通过固定参考目标将离线演示以及同策略、异策略 rollouts 统一到单一回归损失中,无需协调独立的 SFT 与 RL 目标或依赖 Critic。
TreeHCA 将后见引导探索与后见信用分配相结合,用于解决 GRPO 等结果监督方法在多轮 LLM Agent 轨迹中无法区分有效与无效决策的问题。它利用参考答案似然变化重新访问中间历史并采样替代分支构建交互树,通过逆后见重要性校正和归一化树回溯计算轮次级优势。
字节跳动研发并在参数服务器推理与训练系统中部署了基于硬件 RDMA 的软件通信层 ByteExpress。在生产环境推理中,ByteExpress 相比内核 TCP 分别将平均与 P99 模型参数拉取延迟降低 35.7% 和 43.7%,并降低 10.69% 的总 CPU 使用率。在训练场景下,其将 P99 模型参数推送延迟最多降低 74.0%,且运行时未出现 PFC 暂停。
研究者提出多变量时间序列异常检测框架 NV-Tesseract-AD,将 Transformer 扩散骨干与掩码比例和扩散时间步的三阶段双轴课程学习相结合。相比无课程基线,该方法使 F1 分数提升约 3.7 倍并将 MSE 降低 56%,在零样本迁移下 NAB 和 NormA 的 F1 分数分别达到 0.984 与 0.948。
研究发现在限定 LoRA B 矩阵参数池后,均匀随机掩码在 Qwen2.5-3B 的持续学习测试中,基于损失的遗忘表现一致优于静态梯度归因(跨 7 个随机种子)。该优势主要集中在医疗任务(贡献了总体效果的 80%),代码和数学任务趋势相同,法律任务则无可靠差异。此外,在医疗和法律任务上,两者的平均准确率后向迁移差异在统计上与零无显著区别。
研究提出将参数高效微调(PEFT)方法视作权重空间平滑映射,利用范畴学框架系统分析其表达能力与训练动态。作者通过公式提取的 7 个坐标对来自 138 篇论文的 382 种微调方法完成分类,构建了包含 403 条模拟关系与 485 个阻隔的图谱。论文还严格证明了零初始化 LoRA 始于锥顶点、更新秩无法超过自身两倍等多项数学性质。
研究人员提出 HMP-GAE 框架,通过超图消息传递与跨智能体关系推理抑制恶意更新,实现抗拜占庭攻击的联邦大语言模型聚合。该方法以 Qwen-2.5 和 Llama-3.2 为基础模型并在 AG News 与 Yahoo! Answers 上测试,相比现有防御将全局准确率提升 1.21%,语义熵降低 44.08%,困惑度降低 13.34%。
分子机器学习中基于最大公共边子图(MCES)阈值设为 10 的结构不相交划分规则,在公共分子库扩大至 227,690 个分子时会出现图渗流现象。研究通过容许边界和并查集跳过优化,将 $2.6 \times 10^{10}$ 个分子对缩减至 $1.15 \times 10^{7}$ 个整数规划,实现 2,259 倍计算量缩减且无损划分。
研究人员提出 STAPLE,通过残差路径引入静态稀疏嵌入模块来升级预训练模型,在保留原有计算的同时高效扩展参数。在 OLMo-2 1B 上,STAPLE 相比稠密微调在 HumanEval 和 GSM8K 分别提升 4.27 与 2.27 分,并在 OLMo-2 7B 上保持增益。
研究人员提出扩散模型强化学习方法 DiffusionART,无需可微奖励模型和 EMA 调优即可实现高效稳定训练,并已开源代码。在 HunyuanVideo-13B 任务中,该方法达到同类方案后期平均奖励水平所需的 GPU 工时比 DiffusionNFT 和 Flow-GRPO-Fast 分别减少 12.02 倍与 11.72 倍,平均训练奖励分别提升 28.8% 和 53.0%。
研究者提出样本自适应零阶优化算法 SAZO,通过在线学习样本重要性并自适应分配查询来加速大语言模型微调收敛。该方法从现有方向差分中提取梯度范数信息,并维护单样本指数移动平均以追踪重要性变化,相比 MeZO 无需额外模型评估且仅增加 $O(N)$ 标量状态。在 4 个模型家族上的实验显示,SAZO 提升了下游性能,并在达到相同训练损失时实现最高 6x 的查询次数收敛加速。
新研究提出在结果依赖截断与右删失下高效学习生存分析模型的方法,证明已知基线风险时 Cox 回归可通过一阶优化高效求解。然而当联合学习基线风险时,负对数似然函数则包含严格的次优局部极小值。在 4 个生存数据集上的实验表明,该方法显著减少了预测偏差并可拓展至神经网络,比标准期望最大化算法实现数个数量级的加速。
研究人员提出 GlucoPRISM 预训练方法,通过响应契约将连续血糖监测特征解耦为 64 维 Trait、48 维 State 与 16 维 Sensor 频带,以消除传感器差异对跨队列迁移的干扰。
研究人员提出 Rollout-Time Intervention(RTI)技术,通过在 rollout 采样期间利用奖励端证据将错误轨迹纠正为成功轨迹,突破大语言模型(LLM)智能体在强化学习中的 on-policy 探索瓶颈。该方法过滤掉分布偏移过大的轨迹以稳定指导策略优化。在 5 个基准测试上的实验表明,RTI 持续优于强化学习基线,相关代码已开源。
研究者提出了两阶段数据-模型协同演化框架 BoundaryEvo,用于将大模型的长链推理能力蒸馏给小模型。该框架先通过初始蒸馏赋予学生模型基础推理能力,再动态筛选学生未掌握但专家能解决的问题以演化训练数据。
研究人员提出 AdaC-GRPO 强化学习框架与细粒度基准 FG-Sudoku,用于解决前沿多模态大模型在长程视觉数独任务中因低成功率导致的奖励稀疏问题。该方法通过在线采样准确率动态追踪模型的最近发展区来构建训练批次。
研究人员提出结构化评分框架 TQS,无需 LLM 裁判且呈线性时间运行,专门用于评估代码智能体的交互轨迹结构质量。该框架从信息聚焦、意图与动作对齐以及策略动态三个维度进行度量,并在公开开源语料库的 155,144 条成功轨迹上完成排序筛选。实验显示,在 TQS 高分轨迹上微调的模型在 SWE-Bench-Verified 上的表现持续优于随机或低分子集训练的模型。
研究人员提出一种基于不确定性引导的渐进收缩框架,通过围绕中间推理状态构建蒙特卡洛推理树揭示过程级不确定性,将监督与优化聚焦在最具学习价值的轨迹上。该框架先将语料收缩为紧凑的教师数据池,再在 SFT 期间根据学生模型状态进行在线路由优化。实验显示该方法仅需全量数据 SFT 0.22% 的优化预算(训练暴露减少超 450x),即可保持甚至提升推理性能。
研究人员提出表征几何正则化(RGR),通过提升类内紧凑度和类间分离度来保持大语言模型在后训练期间的表征几何结构,从而缓解在线自蒸馏(OPSD)导致的能力退化。OPSD 在优化过程中会使隐藏表征的几何特性恶化,导致模型遗忘早期已掌握的查询。实验表明,RGR 可无缝集成到现有 OPSD 方法中,在保留能力提升的同时普遍缓解退化,代码已开源。
研究人员提出一种仅需 100 到 500 对样本即可实现单模态编码器对齐的方法。该方案利用少量配对锚点建立统一坐标系,通过解决全量数据的熵正则最优传输问题抵消集聚效应,并将匹配方案蒸馏至两个轻量级编码器以支持归纳推理。实验表明,在相同锚点预算下,该方法在 Flickr30k、MS-COCO 和 ChEBI-20 的图像-文本及分子-文本对齐评测中超越现有方案。
研究人员提出递归数据合成算法 MagicBeanStalk,通过自顶向下分解与自底向上递归合成,在保留推理蓝图的同时生成难度校准的训练题目,以解决 RLVR 中约 88% 问题全对或全错导致的零优势陷阱。
研究人员提出了行为自我奖励(BSR)方法,使软件工程智能体在无需独立奖励模型的情况下,复用自身策略对比相同验证结果下的调试行为。BSR 将成对偏好聚合为任务局部得分并转化为有界辅助奖励,在保持通过与失败排序的同时为已采集轨迹提供额外监督。
研究人员提出多智能体数据合成框架 EvoSyn,通过演化生成空间为交互式 AI 智能体实现闭环学习。该框架利用 Designer 分配生成方向并由 Planner 落地为可执行经验,支持弱项区域的自适应与生成空间拓展。在 $\tau^2$-Bench 和 CAR-Bench 实验中,EvoSyn 相比最强合成基线将平均任务成功率提升了 13.3 个百分点。
研究探讨了神经网络在奇偶校验学习中随训练推进和数据累积如何重组学到的布尔函数,并引入函数态与有效施密特秩 $K_f=1/\textrm{Tr}(\rho_A^2)$ 进行刻画。结果显示,少量数据增加会拓宽施密特谱并带来区分化,而更大量数据会使其在目标模式上重新聚集;在固定数据集上,施密特谱重组先于目标对齐和预测准确率的提升发生。
研究者提出了一类基于扩散的广义随机粒子优化方法,用于解决损失函数梯度难以直接计算的问题,涵盖生成模型训练、微调和隐变量模型学习等场景。该方法引入平均场动力学及其相互作用粒子近似,在适定性与联合收缩性假设下证明了指数收敛性,并给出了连续时间粒子系统的非渐近误差界。基于该框架开发的高阶 Langevin 和动量优化器已在最大边际似然估计与基于能量的模型训练中完成评估。
研究者提出 GRASP 方法,可通过朴素 LoRA 微调权重无监督识别潜变量,并在微调中消除虚假关联且保留预训练内容。在不安全代码和不良医疗建议任务中,该方法完全消除了前者的突发未对齐现象,并将后者未对齐减少约 5x。在 Reddit 金融数据政治偏见实验中,该方法将政治倾向漂移减少超过一半,并提升了金融任务性能。
研究人员提出一种基于双层 Stackelberg 公式的端到端校准方法,可将标准校准器与神经网络骨干网络联合训练,无需独立校准集或专用校准损失。该方案仅使用交叉熵同时优化准确率与校准性能,仅引入校准器学习率这一个额外超参数。直接将最终分类层作为校准器即可实现无需额外参数的准确校准模型,性能超越 SOTA 校准器。