arXiv cs.LG· Zheyu Zhang, Yuanhao Huang, Fan Feng, Jie Liu·· 2 小时前AI 评分36
低秩解码器瓶颈限制基础模型扰动预测的可靠性
A low-rank decoder bottleneck bounds reliability in foundation-model perturbation prediction
AI 导读
研究发现 STATE 状态转移解码器首个注意力层具有低秩瓶颈，投影至 4-32 个固定方向即可保持平均 PDC，预测可靠性随样本距训练集响应的余弦距离增加而下降。为此提出的 predicted-NN-distance 置信度评分与 PDC 的平均绝对 Spearman 相关性达 0.81。该评分阈值可跨 SE-600M、scGPT 和 Tahoe-x1 等编码器及细胞系迁移，并适用于药物扰动。
来源：arXiv cs.LG · arxiv.org