arXiv stat.ML· Nuo-Jing Liang, Xiao-Tong Yuan, Pan Zhou·· 2 小时前AI 评分38
理解大语言模型中思维链（CoT）推理的分布外泛化机制
Understanding the Out-of-Distribution Generalization of Chain-of-Thought Reasoning in LLMs
AI 导读
新理论研究证明 LLM 的思维链（CoT）通过共享单步预测器复用分布内原子转换，从而实现分布外（OOD）组合泛化。理论分析表明目标任务风险受与推理步数 $T$ 无关的 $\mathcal{O}(k)$ 系数控制，估计误差阶为 $\mathcal{O}(\sqrt{T/n})$。在 Atom-Task 和 GSM8K 上的实验验证了短到长泛化能力与显式状态追踪的关键作用，代码已开源。
来源：arXiv stat.ML · arxiv.org