[论文解读] Robustness Analysis of Video-Language Models Against Visual and Language Perturbations

Madeline C. Schiappa, Shruti Vyas+3 more|arXiv (Cornell University)|Jul 5, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本论文首次对视频-语言模型在真实世界视觉与语言扰动下，针对文本到视频检索任务的鲁棒性进行了全面分析。基于两个大规模基准数据集——MSRVTT-P 和 YouCook2-P，该研究涵盖了90种视觉扰动和35种文本扰动，揭示了模型在仅视频模态受扰时更为脆弱，预训练能显著提升性能，注意力机制更关注物体与场景而非运动，且在微调目标数据集时表现出性别偏见，而非使用预训练权重时。

ABSTRACT

Joint visual and language modeling on large-scale datasets has recently shown good progress in multi-modal tasks when compared to single modal learning. However, robustness of these approaches against real-world perturbations has not been studied. In this work, we perform the first extensive robustness study of video-language models against various real-world perturbations. We focus on text-to-video retrieval and propose two large-scale benchmark datasets, MSRVTT-P and YouCook2-P, which utilize 90 different visual and 35 different text perturbations. The study reveals some interesting initial findings from the studied models: 1) models are generally more susceptible when only video is perturbed as opposed to when only text is perturbed, 2) models that are pre-trained are more robust than those trained from scratch, 3) models attend more to scene and objects rather than motion and action. We hope this study will serve as a benchmark and guide future research in robust video-language learning. The benchmark introduced in this study along with the code and datasets is available at https://bit.ly/3CNOly4.

研究动机与目标

• 研究视频-语言模型在视觉与文本模态真实世界分布偏移下的鲁棒性。
• 识别与从零开始训练相比，预训练是否能提升视频-语言模型的鲁棒性。
• 分析模型注意力机制，判断其在扰动下是否更关注静态内容（物体、场景）而非动态内容（运动、动作）。
• 评估在目标数据集上微调是否会在视频-语言模型中引入或放大性别偏见。
• 为未来鲁棒多模态视频-语言学习研究建立基准。

提出的方法

• 通过在原始MSRVTT和YouCook2数据集上应用90种不同的视觉扰动和35种文本扰动，构建了两个大规模基准数据集MSRVTT-P和YouCook2-P。
• 应用了包括图像模糊、相机抖动、数字压缩、拼写错误、同义词替换和位置偏移在内的多样化扰动，以模拟真实世界中的分布偏移。
• 在多种训练设置下评估了多个视频-语言模型（包括VideoCLIP、UniVL和FIT）的表现：从零开始训练、零样本（使用预训练权重）以及在目标数据集上微调。
• 通过不同扰动类型和模态下的相对与绝对鲁棒性得分来衡量模型鲁棒性。
• 通过注意力可视化分析模型在扰动下更关注哪些视觉与语言组件。
• 通过分析文本中的性别化词汇及其对应视频内容的模型预测结果，开展偏见评估。

实验结果

研究问题

• RQ1 在真实世界的视觉与语言扰动下，视频-语言模型在文本到视频检索任务中的表现如何？
• RQ2 与从零开始训练相比，预训练是否能提升鲁棒性？
• RQ3 在扰动下，模型是否更关注静态元素（物体、场景）而非动态元素（运动、动作）？
• RQ4 在目标数据集上微调是否会在视频-语言模型中引入或放大性别偏见？
• RQ5 模型在不同类型的扰动（自然、机器生成、合成）下的鲁棒性如何变化？

主要发现

• 当仅视频模态受到扰动时，模型显著更易受干扰，表明视觉处理的脆弱性高于文本扰动。
• 预训练模型在鲁棒性与性能方面始终优于从零开始训练的模型，证明大规模预训练具有重要价值。
• 视频-语言模型的注意力机制主要聚焦于静态视觉元素，如物体与场景，对运动与动作线索的关注极少。
• 在目标数据集上微调的模型表现出比使用预训练权重的模型更强的性别偏见，即使在微调后依然如此，表明目标数据可能放大已有偏见。
• 零样本模型，特别是UniVL和VideoCLIP，在所有扰动类型下表现出相对较高的鲁棒性，尤其在合成与机器生成扰动下。
• MSRVTT-P上的平均绝对鲁棒性得分为0.82 ± 0.14（针对合成扰动，如DropText/Positional），而表现最佳的模型（UniVL-zs）达到0.92 ± 0.05，表明在高挑战条件下仍表现优异。