arXiv cs.LG· Alexandra Suvorikova, Ilgam Latypov, Anton Trukhan, Yuriy Dorn·· 2 小时前AI 评分39
两个 SAE 潜在特征何时属于同一特征？
When Are Two SAE Latents the Same Feature?
AI 导读
研究提出一种基于能量加权最优传输的分析框架，用于判定不同稀疏自编码器（SAE）中潜在特征的对应关系与字典级差异。该方法刻画了 SAE 解码器、激活及一阶因果相似性的关联，并通过联合文档 Bootstrap 为传输成本与比例提供渐近有效的置信带。在四种语言模型上的实验定位了跨随机种子的差异，并成功分离出上下文相关的变化。
来源：arXiv cs.LG · arxiv.org