arXiv cs.LG· Amrut Nadgir, Pratik Chaudhari, Vijay Balasubramanian·· 26 天前AI 评分48
大语言模型中模式识别与逐步推理的二分性
The Dichotomy Between Pattern Recognition and Step-by-Step Reasoning
AI 导读
研究提出大语言模型的模式识别与逐步推理构成连续谱，当生成仅依赖较短上下文时模型通过 De Bruijn 图结构实现高样本效率的逐步推理。实验显示，Qwen3-14B 与 Qwen3-32B 在 GSM8K、MATH-500 和 GPQA-Diamond 上，仅保留不足完整推理轨迹 15% 的滑动窗口注意力即可维持超 75% 的准确率。
来源：arXiv cs.LG · arxiv.org