arXiv cs.LG· Riteng Zhang, Xiaoqian Wang·· 11 天前AI 评分39
反思 SAE 评估：原子可解释单元框架揭示隐藏的多义性与冗余
Rethinking SAE Evaluation: An Atomic Interpretable Unit Framework Reveals Hidden Polysemanticity and Redundancy
AI 导读
研究者提出了原子可解释单元基底这一稀疏自编码器（SAE）评估新范式，并引入包含 DAME 的综合基准测试框架。评测跨多个架构和模型族的数百个 SAE 发现，部分 SAE 在现有指标下表现单义，但对模型计算贡献最大的核心主导特征在功能上依然具有多义性且冗余度更高。该研究建议在将 SAE 用于归因、回路追踪或干预前，将主导感知评估作为标准检查。
来源：arXiv cs.LG · arxiv.org