[论文解读] Robust Domain Generalization for Multi-modal Object Recognition

Yuxin Qiao, Keqin Li+5 more|arXiv (Cornell University)|Aug 11, 2024

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

本文提出了一种新颖的多模态物体识别领域泛化方法——Mixup-CLIPood，通过推断真实训练损失、在更大规模视觉-语言主干网络上进行评估，并引入类别感知的混合损失，解决了CLIPood方法的局限性。该方法在PACS、VLCS和Office-Home等数据集上实现了卓越的零样本泛化性能，显著优于现有基线模型。

ABSTRACT

In multi-label classification, machine learning encounters the challenge of domain generalization when handling tasks with distributions differing from the training data. Existing approaches primarily focus on vision object recognition and neglect the integration of natural language. Recent advancements in vision-language pre-training leverage supervision from extensive visual-language pairs, enabling learning across diverse domains and enhancing recognition in multi-modal scenarios. However, these approaches face limitations in loss function utilization, generality across backbones, and class-aware visual fusion. This paper proposes solutions to these limitations by inferring the actual loss, broadening evaluations to larger vision-language backbones, and introducing Mixup-CLIPood, which incorporates a novel mix-up loss for enhanced class-aware visual fusion. Our method demonstrates superior performance in domain generalization across multiple datasets.

研究动机与目标

• 解决报告损失与CLIPood实现中实际使用的损失之间的差异。
• 通过在更大规模的视觉-语言模型（ViT-B/32 和 ViT-L/14）上进行测试，扩展评估范围，超越单一主干网络。
• 通过引入新颖的混合损失实现类别感知的视觉特征融合，提升领域泛化能力。
• 在零样本泛化设置下，验证所提方法在多样化多模态基准上的有效性。

提出的方法

• 通过代码分析推断官方CLIPood实现中实际使用的训练损失，修正与原始报告损失之间的差异。
• 将评估扩展至两个更大的视觉-语言主干网络：ViT-B/32 和 ViT-L/14，以评估不同模型规模下的泛化性能。
• 提出一种新颖的混合损失，可在训练过程中实现类别感知的视觉特征融合，提升模型对领域偏移的鲁棒性。
• 在源域的微调过程中应用该混合损失，生成混合样本，促使模型学习更具不变性和泛化能力的表示。
• 采用标准的领域泛化协议：一个领域作为目标域（训练期间未见），三个领域作为源域用于适应。
• 使用标准评估指标：在每个目标域上的top-1准确率，结果在多个数据集和主干网络上报告。

实验结果

研究问题

• RQ1 官方CLIPood实现中实际使用的损失函数是什么？与论文中描述的损失有何不同？
• RQ2 CLIPood在更大规模视觉-语言主干网络（如ViT-B/32 和 ViT-L/14）上的性能如何？
• RQ3 通过混合损失实现类别感知视觉融合，在多模态识别中对零样本领域泛化能力的提升程度如何？
• RQ4 所提出的Mixup-CLIPood方法是否能在PACS、VLCS和Office-Home等多样化多模态数据集上实现一致的性能提升？

主要发现

• CLIPood实现中实际使用的损失与论文中报告的损失存在差异，通过代码分析已成功修正。
• Mixup-CLIPood在所有评估主干网络（ViT-B/16、ViT-B/32、ViT-L/14）上均实现了稳定的性能提升，展现出强大的泛化能力。
• 在VLCS数据集上使用ViT-L/14时，Mixup-CLIPood的初始测试准确率约为89%，训练后超过90%，显著优于ViT-B/16在10个周期后的81%准确率。
• 混合损失显著提升了泛化性能，在PACS、VLCS和Office-Home的大多数任务中，Mixup-CLIPood相比CLIPood实现了显著的准确率提升。
• 该方法表现出稳定的训练动态，测试准确率随训练周期稳步提升并收敛至高水平。
• 通过有效结合类别感知融合与更广泛的主干网络评估，该方法在多模态领域泛化任务中树立了新基准。