跳到正文
热点事件持续更新

研究揭示同策略蒸馏泛化局限性并提出改进方案

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年11月5日,arXiv cs.LG发布的研究揭示,同策略蒸馏(OPD及MOPD)在强化学习后的能力整合中存在泛化盲区,无法完全迁移教师模型的分布外泛化能力。基于Qwen3的评测显示,学生模型虽然达到了教师模型分布内分数的96.04%至102.73%,但分布外得分却比基座模型低2.45%至16.25%。针对教师能力受限与数据覆盖不足两大瓶颈,论文提出了基于几何修补(geometry-based patching)与基座保留重放(base-preserving replay)两种方案,以改善模型在分布外场景的表现。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv cs.LG
    同策略蒸馏在强化学习后能力整合中的泛化局限性

    同策略蒸馏(OPD 及 MOPD)在强化学习后能力整合中存在泛化盲区,无法完全迁移教师的分布外泛化能力。基于 Qwen3 的评测显示,模型虽达教师分布内分数的 96.04-102.73%,但分布外得分比基座模型低 2.45-16.25%。针对教师能力与数据覆盖瓶颈,论文提出 geometry-based patching 与 base-preserving replay 以改善分布外表现。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。