大规模识别大语言模型中的相互作用

研究人员提出 SPEX 与 ProxySPEX 算法，用于在大规模大语言模型中高效识别特征、数据与组件间的关键相互作用。算法利用稀疏性与低阶性将交互搜索重构为稀疏恢复问题，其中 ProxySPEX 进一步结合层次特性，以少约 10 倍的消融次数达到 SPEX 的性能。该框架适用于特征归因、数据归因与机理可解释性分析，解决了交互数量随规模指数级增长的计算难题。