arXiv cs.LG· Kaijian Zou, Emiliano Penaloza, MohammadHossein Rezaei, Anisha Gunjal, Mohit Raghavendra, Lu Wang, Yunzhong He, Anas Mahmoud·· 15 天前AI 评分35
预测 On-Policy 自蒸馏中特权信息的有效性
Predicting Privileged Information Effectiveness for On-Policy Self-Distillation
AI 导读
研究在 3 个多轮智能体基准与 3 种不同规模和推理模式的学生模型上评估了 16 种特权信息（PI）配置，发现信息密集轨迹和更强生成源能带来更大增益，而思考模型获益相对不稳定。
来源：arXiv cs.LG · arxiv.org