arXiv cs.LG· Angus Hoy, Austin Lutterbach, Jasper Chong, Aman Kumar, Michael J. Smith·· 15 天前AI 评分34
原生几何与线性可恢复性：对齐如何改变柏拉图表征缩放
Native Geometry vs. Linear Recoverability: How Alignment Changes Platonic Scaling
AI 导读
研究发现模型规模提升更显著改善的是线性可恢复性，而非共享的原生度量几何收敛。通过五个模型家族在天文巡天数据集上的表征测试，Ridge 对齐相比原生余弦几何显著增强了模型大小与跨数据集邻域对应关系之间的联系。这一效应在所有五个家族中均存在，且 SAE 和 BSF 稀疏特征相比密集嵌入在对齐中并未表现出优势。
来源：arXiv cs.LG · arxiv.org