跳到正文
热点事件持续更新

研究揭示基础模型扰动预测的低秩解码器瓶颈及置信度评估

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年11月5日,arXiv cs.LG发布的一项研究指出,基础模型在进行扰动预测时受限于低秩解码器瓶颈。研究发现,STATE状态转移解码器的首个注意力层存在低秩瓶颈,仅投影至4至32个固定方向即可保持平均PDC,且预测可靠性会随着样本与训练集响应的余弦距离增加而降低。为此,研究团队提出了predicted-NN-distance置信度评分,其与PDC的平均绝对Spearman相关性达到0.81。测试表明,该置信度评分阈值不仅能跨SE-600M、scGPT和Tahoe-x1等多个编码器以及细胞系进行迁移,同时也适用于药物扰动场景。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv cs.LG
    低秩解码器瓶颈限制基础模型扰动预测的可靠性

    研究发现 STATE 状态转移解码器首个注意力层具有低秩瓶颈,投影至 4-32 个固定方向即可保持平均 PDC,预测可靠性随样本距训练集响应的余弦距离增加而下降。为此提出的 predicted-NN-distance 置信度评分与 PDC 的平均绝对 Spearman 相关性达 0.81。该评分阈值可跨 SE-600M、scGPT 和 Tahoe-x1 等编码器及细胞系迁移,并适用于药物扰动。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。