跳到正文
原文
arXiv cs.AI· Yinlong Xu, Jianfeng Huang, Zhengdong Zhou, Mingjie Lin, Fuyu Lv, Dan Ou, Hongxia Xu, Jian Wu·· 15 天前AI 评分35

Sep-Latent:将分隔符 Token 作为隐式推理自然压缩锚点的自适应框架

Sep-Latent: Separator Tokens as Natural Compression Anchors for Implicit Reasoning

AI 导读

研究者提出了自适应隐式推理框架 Sep-Latent,利用分隔符 token 作为结构语义锚点来压缩推理逻辑并允许动态推理深度。该方法通过引入 Attention-Decay 机制聚合推理逻辑,并通过跨所有层的多级知识蒸馏对齐显式与隐式路径。在 GSM8k-Aug 基准评测中,Sep-Latent 仅用平均 5.4 个 token 就实现了 56.8% 的准确率。

来源:arXiv cs.AI · arxiv.org