为什么 Graph Transformer 不会注意力集中在同一个 token 上？

研究发现图 Transformer 模型 GRIT 在分子数据上极少出现 LLM 中常见的注意力汇聚（attention sink）现象，且在更大图上训练时汇聚更少。实验证明注意力打分函数是主因：将 GRIT 的门控 logit 替换为点积后，其汇聚率从 0.09 飙升至 0.68。注意力汇聚并非 Transformer 本身的固有属性，而是点积注意力的特性。