arXiv cs.LG· Naveen Mysore·· 2026-10-03AI 评分36
Attention Manifolds：通过编辑 B 样条曲面引导或阻断大语言模型
Attention Manifolds: Steering or Blocking Language Models by Editing Learned B-Spline Surfaces
AI 导读
研究提出基于 2D B-spline 曲面的 Attention Manifolds，可按 query-key 交互动态调制模型的每个 value 维度。在 LLaMA 3.2-1B-Instruct 和 3B-Instruct 上，该方法仅凭 0.3% 参数开销便将 WikiText-2 验证困惑度降低 2-2.5 点。
来源：arXiv cs.LG · arxiv.org