[论文解读] Scaling Multimodal Pre-Training via Cross-Modality Gradient Harmonization

Junru Wu, Yi Liang+4 more|arXiv (Cornell University)|Nov 3, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出跨模态梯度调和方法，通过缓解大规模数据集中弱跨模态对齐（CMA）带来的噪声监督，提升多模态预训练性能。该方法引入梯度重对齐与基于梯度的课程学习，以对齐损失梯度并优先处理噪声较小的样本，显著提升下游任务表现，并实现对 YouTube8M 等噪声大、非叙事性数据集的有效扩展，取得新的 SOTA 结果。

ABSTRACT

Self-supervised pre-training recently demonstrates success on large-scale multimodal data, and state-of-the-art contrastive learning methods often enforce the feature consistency from cross-modality inputs, such as video/audio or video/text pairs. Despite its convenience to formulate and leverage in practice, such cross-modality alignment (CMA) is only a weak and noisy supervision, since two modalities can be semantically misaligned even they are temporally aligned. For example, even in the commonly adopted instructional videos, a speaker can sometimes refer to something that is not visually present in the current frame; and the semantic misalignment would only be more unpredictable for the raw videos from the internet. We conjecture that might cause conflicts and biases among modalities, and may hence prohibit CMA from scaling up to training with larger and more heterogeneous data. This paper first verifies our conjecture by observing that, even in the latest VATT pre-training using only instructional videos, there exist strong gradient conflicts between different CMA losses within the same video, audio, text triplet, indicating them as the noisy source of supervision. We then propose to harmonize such gradients, via two techniques: (i) cross-modality gradient realignment: modifying different CMA loss gradients for each sample triplet, so that their gradient directions are more aligned; and (ii) gradient-based curriculum learning: leveraging the gradient conflict information on an indicator of sample noisiness, to develop a curriculum learning strategy to prioritize training on less noisy sample triplets. Applying those techniques to pre-training VATT on the HowTo100M dataset, we consistently improve its performance on different downstream tasks. Moreover, we are able to scale VATT pre-training to more complicated non-narrative Youtube8M dataset to further improve the state-of-the-arts.

研究动机与目标

• 探究噪声跨模态对齐（CMA）对多模态预训练的影响，尤其在未筛选、非叙事性数据集中的表现。
• 识别出 CMA 损失之间梯度冲突是导致训练不稳定与模态特异性过拟合的关键原因。
• 提出梯度调和技术，以提升在多样化下游任务中的训练稳定性和性能。
• 实现在无需架构修改的前提下，将多模态预训练有效扩展至更异构、更嘈杂的数据集（如 YouTube8M）

提出的方法

• 引入跨模态梯度重对齐，以对齐同一样本三元组中不同 CMA 损失（如视频-文本与视频-音频）的梯度方向。
• 将梯度重对齐形式化为可学习变换，通过基于投影的方法最小化梯度向量之间的夹角，以减少冲突。
• 提出基于梯度的课程学习，利用梯度冲突的大小作为样本噪声程度的代理指标，优先训练更清洁的样本。
• 以即插即用方式将两种技术应用于与模态无关的 VATT 框架，无需修改主干网络架构。
• 使用梯度向量之间的余弦相似度作为冲突度量，并仅在夹角超过阈值时执行梯度重对齐。
• 采用课程学习训练策略，根据实时梯度冲突分数动态调整采样策略，以提升泛化能力。

实验结果

研究问题

• RQ1 在真实世界数据集中，跨模态对比损失之间的梯度冲突在多大程度上会损害多模态预训练？
• RQ2 梯度重对齐能否有效减少 CMA 损失间的冲突，并在与模态无关的设定下提升表示学习性能？
• RQ3 梯度冲突能否作为多模态预训练中课程学习的可靠样本噪声指标？
• RQ4 梯度调和是否能实现对 YouTube8M 等噪声大、非叙事性数据集的有效预训练？
• RQ5 梯度调和对模态特异性和跨模态下游任务性能有何影响？

主要发现

• 在 HowTo100M 上对 VATT 预训练应用梯度重对齐与课程学习，显著提升所有下游任务的性能，包括视频动作分类、文本-视频检索与音频分类。
• 在 UCF101 数据集上，该方法达到 89.70% 的 Top-1 准确率，创下与模态无关设定下的新 SOTA 结果。
• 在 HMDB51 上，模型达到 92.15% 的 Top-5 准确率；在 Kinetics400 上，达到 80.01% 的 Top-1 准确率，展现出强大的泛化能力。
• 在 ESC50 上，模型达到 85.00% 的 Top-1 准确率，表明在噪声监督下音频分类任务的鲁棒性得到提升。
• 特征可视化结果表明，梯度调和可促进视频与文本表征的更好解耦，增强模型判别能力。
• 该方法成功实现将 VATT 预训练扩展至 YouTube8M，克服了基线模型因数据噪声导致的性能下降问题。