arXiv cs.LG· Zeyong Zhang, Tung Sum Thomas Kwok, Tengfei Ma, Mengjia Xu·· 29 天前AI 评分36
犹豫具有几何结构：面向稀疏激活引导的熵训练双曲探针
Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering
AI 导读
研究人员提出双曲熵引导方法 HEST，通过轻量级双曲探针仅在模型高熵 token 处沿测地线稀疏编辑隐藏状态。在 Qwen2.5-Math 与 Llama-3.1 系列 3 款指令微调模型上，采用 Busemann 读出的 HEST 在 MATH-500 和 GSM8K 评测中最高提升贪心准确率 1.8 点，在模型频繁犹豫的难题上增益最显著。
来源：arXiv cs.LG · arxiv.org