[论文解读] VLUE: A Multi-Task Benchmark for Evaluating Vision-Language Models

Wangchunshu Zhou, Yan Zeng+2 more|arXiv (Cornell University)|May 30, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出了 VLUE，一个用于评估视觉-语言模型泛化能力与效率-性能权衡的多任务基准。该基准包含来自文化多样性图像的分布外（OOD）测试集，揭示了显著的泛化差距，并表明效率感知评估能够揭示超越准确率本身的更优模型权衡。

ABSTRACT

Recent advances in vision-language pre-training (VLP) have demonstrated impressive performance in a range of vision-language (VL) tasks. However, there exist several challenges for measuring the community's progress in building general multi-modal intelligence. First, most of the downstream VL datasets are annotated using raw images that are already seen during pre-training, which may result in an overestimation of current VLP models' generalization ability. Second, recent VLP work mainly focuses on absolute performance but overlooks the efficiency-performance trade-off, which is also an important indicator for measuring progress. To this end, we introduce the Vision-Language Understanding Evaluation (VLUE) benchmark, a multi-task multi-dimension benchmark for evaluating the generalization capabilities and the efficiency-performance trade-off (``Pareto SOTA'') of VLP models. We demonstrate that there is a sizable generalization gap for all VLP models when testing on out-of-distribution test sets annotated on images from a more diverse distribution that spreads across cultures. Moreover, we find that measuring the efficiency-performance trade-off of VLP models leads to complementary insights for several design choices of VLP. We release the VLUE benchmark to promote research on building vision-language models that generalize well to more diverse images and concepts unseen during pre-training, and are practical in terms of efficiency-performance trade-off.

研究动机与目标

• 解决由于在 COCO/VG 数据集上进行域内评估而导致的视觉-语言模型泛化能力被高估的问题。
• 衡量视觉-语言预训练中的效率-性能权衡，促进实际模型部署。
• 建立一个标准化的、多维的基准，用于跟踪超越绝对性能的进展。
• 提供一个公开可用的基准，包含 OOD 测试集，以鼓励对鲁棒且高效的视觉-语言模型的研究。

提出的方法

• 使用来自 MaRVL 数据集的图像，由母语者在不同文化背景下收集，标注新的分布外（OOD）测试集。
• 在域内和 OOD 测试集之间保持相同的标注协议，以确保标签分布的公平比较。
• 在四个任务上对 7 种代表性视觉-语言模型进行基准测试：图文检索、VQA、视觉推理和视觉定位。
• 在固定硬件配置（1× V100 GPU，批量大小为 1）上测量推理时间，以评估效率-性能权衡。
• 使用帕累托前沿比较模型在性能和推理时间两个维度上的表现，识别出在两个维度上均优于其他模型的模型。
• 公开发布基准、数据和代码，以支持可复现性及社区范围的评估。

实验结果

研究问题

• RQ1 当在来自文化多样来源的分布外图像上进行评估时，视觉-语言模型的表现如何？
• RQ2 域内性能与分布外泛化性能之间的相关性在多大程度上成立？
• RQ3 不同的视觉特征提取方法（目标检测 vs. 视觉 Transformer）在效率-性能权衡中产生何种影响？
• RQ4 像 VLUE 这样的多维基准能否揭示出超越绝对性能的更细致的洞察？

主要发现

• 所有评估模型在 OOD 测试集上均表现出显著的泛化差距，表明其对分布偏移的鲁棒性较差。
• 域内性能与 OOD 性能之间的皮尔逊相关系数为 0.75，表明存在中等相关性但非完美相关，凸显了 OOD 评估的必要性。
• 采用视觉 Transformer 作为图像编码器的模型相比依赖目标检测特征的模型，展现出更优的效率-性能权衡。
• 尽管性能仅略低，VL-T5 的平均推理时间比 ALBEF 长 2.4 倍，凸显了效率感知评估的重要性。
• 图像字幕生成模型如 OFA 和 VL-T5 在 OOD 集上出现显著的性能下降（例如，CIDER 从 140.7 降至 71.2），表明其对 COCO 特征的依赖性。
• 该基准揭示了帕累托最优模型的存在，其在性能和效率两方面均优于 SOTA 模型，挑战了仅以准确率为衡量标准的主导地位。