arXiv cs.LG· Harsh Kumar, Tanmay Shailesh Joshi, Rahul Maity, Anusa Saha·· 18 天前AI 评分36
代码大语言模型中的因果语法电路:组件预算与探测方式决定定位结论
Causal Syntax Circuits in CodeLMs: Budget and Probe Decide What Looks Localised
AI 导读
研究人员通过因果可解释性分析流水线,探究了代码大模型在未指定语言时偏好编写 Python 的机制。测试覆盖 10 个开源代码模型和 55 种设置,发现指令微调后该偏好平均高出基础版 12%,且语法偏好是否呈现“局域化”高度取决于组件预算与探测提示词设计。实验显示将组件预算从 12 提升至 40,显著电路设置从 1/15 增至 6/15,表明相关可解释性结论极大受制于分析时的参数设定。
来源:arXiv cs.LG · arxiv.org