量子层能否为视觉语言模型带来性能与安全优势？

基于 LLaVA-OneVision 的研究显示，在 visual projector 后插入量子层可在 Visual Spatial Reasoning 数据集达到 80.7% 准确率，较经典全微调提升 2.28 个百分点。替换最终 decoder 前馈子层可减少 13.07 million 可训练参数并保持 79.22% 准确率。研究还测试了混合模型在 6 种攻击设置下的鲁棒性，代码已开源。