arXiv cs.LG· Harshithanjani Athi, Sravan Kumar Ankireddy, Jianzhong Charlie Zhang, Hyeji Kim·· 6 天前AI 评分36
基于查询-视觉交互分解的视觉 Token 剪枝
Vision Token Pruning via Query-Vision Interaction Decomposition
AI 导读
研究人员提出免训练的查询感知视觉 token 剪枝方法 QViD，利用 Transformer 注意力中查询-视觉交互矩阵的低秩特性捕捉相关语义。图像与视频理解评测基准实验显示，QViD 在匹配的 token 预算下持续提升性能，且在激进压缩场景下收益最为显著。
来源：arXiv cs.LG · arxiv.org