arXiv cs.LG· Lucius Bushnaq, Dan Braun, Oliver Clive-Griffin, Bart Bussmann, Nathan Hu, Michael Ivanitskiy, Linda Linsefors, Lee Sharkey·· 18 天前AI 评分44
解释大语言模型参数：对抗参数分解方法（VPD）
Interpreting Language Model Parameters
AI 导读
研究人员提出对抗参数分解（VPD）方法，通过将大语言模型参数分解为各自实现局部算法的简单子组件，以解释模型参数如何执行计算。VPD 优化分解过程，使得即使在对抗性消融大量子组件的情况下仍能保持网络的输入输出行为，在任意输入上仅需少量子组件即可解释模型行为。该方法通过研究参数子组件间的序列交互生成网络输出，支持构建一种新型“电路”分析。
来源：arXiv cs.LG · arxiv.org