超越 On-Policy 与 Off-Policy：LLM 智能体蒸馏应在哪个层级依随学生？

一项新研究提出分层 LLM 智能体蒸馏框架，将策略依随拆解为交互历史诱导与当前动作前缀生成两个层级。跨 3 个模型与 4 个交互环境的实验显示，学生诱导历史搭配教师动作前缀可提供最强独立训练信号，而双层级完全依随学生效果最差。此外，前期前置教师生成上下文、后期引入全 on-policy 上下文的训练调度显著优于静态混合。