arXiv stat.ML· Qiang Fu, Xinyue Li, Andre Wibisono, Arman Cohan·· 8 天前AI 评分38
学会被监控：CoT 可监控性的因果边界与干预感知后训练方法
Learning to Be Monitored: Causal Bounds and Intervention-Aware Post-Training Recipes for Chain-of-Thought Monitorability
AI 导读
针对大语言模型思维链（CoT）监控评估指标 $\mathsf{TPR_{mc}}$ 高估因果检出率的问题，新研究推导出互补下限以建立更严格的评估框架。研究团队进一步构建了对照-干预任务训练集，设计出基于离策略自蒸馏、强化学习和在策略自蒸馏的三种后训练方法。实验表明三种方法在多种配置下均普遍提升了模型的 CoT 可监控性，相关代码已开源。
来源：arXiv stat.ML · arxiv.org