线性探针的高准确率能证明模型具有线性表征吗？

NeurIPS 2026 入选论文指出，仅凭线性探针的高解码准确率并不足以证明视觉模型具备真正的线性世界模型，因为任何足够丰富的特征映射（包括随机核机制）都能实现线性读出。研究团队提出了反向可预测性、谱集中度和分布外泛化三项非对称诊断指标。在 6 个预训练视觉 Transformer 模型上的测试表明，预训练产生的结构远未达到真正的低维线性表征。