东莞网站设计定制开发,企业管理咨询服务公司,如何建立小企业网站,上海哪个网站专门做宝宝宴的#x1f34e;个人主页#xff1a;小嗷犬的个人主页 #x1f34a;个人网站#xff1a;小嗷犬的技术小站 #x1f96d;个人信条#xff1a;为天地立心#xff0c;为生民立命#xff0c;为往圣继绝学#xff0c;为万世开太平。 基本信息
标题: X-Former: Unifying Contr… 个人主页小嗷犬的个人主页 个人网站小嗷犬的技术小站 个人信条为天地立心为生民立命为往圣继绝学为万世开太平。 基本信息
标题: X-Former: Unifying Contrastive and Reconstruction Learning for MLLMs 作者: Sirnam Swetha, Jinyu Yang, Tal Neiman, Mamshad Nayeem Rizve, Son Tran, Benjamin Yao, Trishul Chilimbi, Mubarak Shah 发表: ECCV 2024 arXiv: https://arxiv.org/abs/2407.13851 摘要
近期在多模态大型语言模型MLLMs方面的进步通过将视觉感知能力整合到大型语言模型LLMs中已经彻底改变了视觉-语言理解领域。
该领域的流行趋势涉及使用来自视觉-语言对比学习CL的视觉编码器擅长捕捉整体表示但在捕捉详细局部模式方面存在困难。
在本工作中我们通过结合通过掩码图像建模MIM获得的高频和详细视觉表示与由CL捕获的语义丰富的低频表示来增强MLLMs的视觉表示。为了实现这一目标我们引入了X-Former这是一个轻量级的Transformer模块通过创新交互机制利用CL和MIM的互补优势。
具体来说X-Former首先从两个冻结的视觉编码器即基于CL的CLIP-ViT和基于MIM的MAEViT启动视觉-语言表示学习和多模态到多模态生成学习。它进一步从冻结的LLM启动视觉到语言的生成学习以确保X-Former的视觉特征可以被LLM解释。
为了证明我们方法的有效性我们在需要详细视觉理解的任务上对其性能进行了评估。广泛的评估表明X-Former在涉及GQA数据集中结构和语义类别的视觉推理任务中表现出色。对细粒度视觉感知基准的评估进一步证实了其在视觉理解方面的优越能力。
主要贡献
提出利用CL和MIM中的视觉编码器从冻结的图像编码器中捕捉全局和局部视觉表示以提升视觉语言理解能力。提出具有双重交叉注意力的X-Former用于通过图像-文本对启动多模态到多模态的生成学习完全无需使用精心挑选或视觉指令数据。
方法
预备知识
CLIP-ViT与MAE-ViT的训练目标使得其关注点有所不同。CLIP-ViT更多关注低频信号和全局视觉表示而MAE-ViT在理解详细视觉特征方面更加出色。
原生的Q-Former仅采用CLIP-ViT特征尽管其在VQA和图像描述等下游任务上表现出色但在详细视觉特征理解方面遇到了挑战。 如何融合CLIP-ViT特征和MAE-ViT特征成为了本文的研究重点。
X-Former
Pre-Training CLIP-ViT: pre-trained ViT-G model from EVA-CLIPMAE-ViT: pre-trained ViT-H model
X-Former通过优化重建、ITC、ITM和ITG损失来学习提取局部和全局表示。 X-Former❄️ CLIP Image Encoder、MAE Image Encoder、MAE Image Decoder
LLM Alignment LLM Decoder: OPT model
将X-Former的特征与冻结的LLM对齐。 X-Former、FC❄️ CLIP Image Encoder、MAE Image Encoder、LLM Decoder
实验
主实验 VQAv2数据集上的零样本视觉问答结果。 GQA和OKVQA数据集上零样本视觉问答结果。 GQA中的详细比较。 MLLMs在物体计数OC和多类识别MCI任务上的零样本细粒度视觉感知评估。 COCO与NoCaps上的无微调结果零样本图像描述结果。
消融实验 Table 5: 对MAE-ViT特征的消融。将MAE-ViT特征替换为CLIP-ViT的浅层特征。 Table 6: 重建损失的消融。
总结
在这篇论文中我们介绍了X-Former这是一种新型架构旨在通过整合预训练的MAE和CLIP视觉编码器来增强多模态语言模型MLLMs的视觉表示。
我们的动机源于以下几点观察
现有的MLLMs主要依赖于CLIP-ViT但往往无法捕捉到细粒度的视觉信号我们的实证研究表明简单地将CLIP-ViT和MAE-ViT相结合并不一定能带来性能提升MLLMs的有效性高度依赖于大规模图像-文本对进行预训练和精心策划的指令调整数据集进行微调。
X-Former通过双重交叉注意力机制有效地整合了CLIP-ViT和MAE-ViT同时保持计算需求可控。我们的方法即插即用可以应用于其他模型。
我们的实验结果明确表明X-Former在各种需要稳健视觉理解的视觉推理任务中超越了BLIP-2。值得注意的是这些优越的结果仅使用了十分之一的图像-文本对数据集且无需任何指令调整数据集。
