Apple ML Research·· 2026-10-01AI 评分46
RLTL;DR:通过内化自生成反馈实现自我改进
RLTL;DR: Self-Improvement by Internalizing Self-Generated Feedback
AI 导读
强化学习方法 RLTL;DR 通过让模型在失败后生成单条 TL;DR 洞察并内化映射,实现无解题示例下的自我改进。在 Pass@128 = 0 的高难任务中,该方法使 Qwen 3.5 9B Thinking 的 Pass@1 从标准 GRPO 的 0%–1% 提升至评测无洞察时的 12%–13%。仅用 4k 个(任务, 洞察)元组训练的 SFTL;DR 也几乎复现了全量 rollout 的性能。
来源:Apple ML Research · machinelearning.apple.com