arXiv cs.AI· Tianyu Yang, Yijun Tian, Lars Benedikt Kaesberg, Jan Philip Wahle, Bela Gipp, Terry Ruas, Daniel Kurzawe·· 8 天前AI 评分34
多模态嵌入框架 PILOT：超越事后奖励的特权推理探索
Beyond Post-Hoc Rewards: Privileged Reasoning Exploration for Multimodal Embeddings
AI 导读
研究者提出多模态嵌入框架 PILOT，将推理建模为隐变量，利用训练期关联证据指导推理探索以优化嵌入表示。该框架通过先验与后验协同演化机制，在共享推理兼容奖励下将高价值探索轨迹迁移至推理阶段。在包含 78 个任务的 MMEB-V2 基准上，PILOT 在 2B 和 7B 参数下总分分别提升 3.2 与 3.3 分，视觉文档检索提升达 +6.1 和 +6.4 分。
来源：arXiv cs.AI · arxiv.org