基于蒸馏最优传输的少配对样本表征对齐方法

研究人员提出一种仅需 100 到 500 对样本即可实现单模态编码器对齐的方法。该方案利用少量配对锚点建立统一坐标系，通过解决全量数据的熵正则最优传输问题抵消集聚效应，并将匹配方案蒸馏至两个轻量级编码器以支持归纳推理。实验表明，在相同锚点预算下，该方法在 Flickr30k、MS-COCO 和 ChEBI-20 的图像-文本及分子-文本对齐评测中超越现有方案。