arXiv cs.LG· Sambit Ghosh, Madelyn Mathai, R. Venkatesh Babu, Chirag Agarwal·· 18 天前AI 评分38
稀疏自编码器中的数据收益递减：功能表现并不保证特征可复现性
Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature Reproducibility
AI 导读
研究表明稀疏自编码器（SAE）的重构等功能表现在较小数据量下即可收敛，但特征的一对一可复现性仍随数据增加而持续提升。在 Gemma-2-2B BatchTopK 上的测试显示，严格匹配特征的比例从 5M tokens 时的 2% 增至 50M tokens 时的 29%。此外，随机采样更利于特征重构，而多样性采样常能改善 AutoInterp。
来源：arXiv cs.LG · arxiv.org