arXiv cs.AI· Chaofei Hong, Ziyang Chen, Baochen Wang, Christina Yi Jin, Qing Zhang·· 6 天前AI 评分34
AC-JEPA：面向视觉到符号翻译的锚定跨模态联合嵌入预测架构
AC-JEPA: Anchored Cross-Modal Joint Embedding Predictive Architecture for Visual-to-Symbolic Translation
AI 导读
AC-JEPA 是一种兼容 SFT 的插件架构，通过双向预测跨模态掩蔽中间状态提升视觉到符号翻译对不完美数据的容错能力。在 WildMol 基准 Simple 测试集中，AC-JEPA 基于干净数据取得 76.07% 准确率，优于单独 SFT 的 67.40%。使用伪标签自训练时，AC-JEPA 准确率进一步升至 80.23%，而直接 SFT 则从 67.40% 下降至 63.47%。
来源：arXiv cs.AI · arxiv.org