[论文解读] VAuLT: Augmenting the Vision-and-Language Transformer for Sentiment Classification on Social Media

Georgios Chochlakis, Tejas Srinivasan+2 more|arXiv (Cornell University)|Aug 18, 2022

Multimodal Machine Learning Applications被引用 8

一句话总结

VAuLT 通过集成大型语言模型（如 BERT）来增强视觉-语言 Transformer（ViLT）的文本表征，显著提升了社交媒体情感分类任务的性能。该方法在 TWITTER-2015、TWITTER-2017、MVSA-Single 和 MVSA-Multiple 数据集上实现了最先进（SOTA）的结果，相较于 ViLT 最多提升 20% 的相对性能，同时通过端到端的联合微调策略，对训练和推理效率的影响极小。

ABSTRACT

We propose the Vision-and-Augmented-Language Transformer (VAuLT). VAuLT is an extension of the popular Vision-and-Language Transformer (ViLT), and improves performance on vision-and-language (VL) tasks that involve more complex text inputs than image captions while having minimal impact on training and inference efficiency. ViLT, importantly, enables efficient training and inference in VL tasks, achieved by encoding images using a linear projection of patches instead of an object detector. However, it is pretrained on captioning datasets, where the language input is simple, literal, and descriptive, therefore lacking linguistic diversity. So, when working with multimedia data in the wild, such as multimodal social media data, there is a notable shift from captioning language data, as well as diversity of tasks. We indeed find evidence that the language capacity of ViLT is lacking. The key insight and novelty of VAuLT is to propagate the output representations of a large language model (LM) like BERT to the language input of ViLT. We show that joint training of the LM and ViLT can yield relative improvements up to 20% over ViLT and achieve state-of-the-art or comparable performance on VL tasks involving richer language inputs and affective constructs, such as for Target-Oriented Sentiment Classification in TWITTER-2015 and TWITTER-2017, and Sentiment Classification in MVSA-Single and MVSA-Multiple. Our code is available at https://github.com/gchochla/VAuLT.

研究动机与目标

• 为解决 ViLT 语言表征能力有限的问题，其在简单图像字幕上进行预训练，在复杂且富含情感的社交媒体文本上表现不佳。
• 提升社交媒体中的多模态情感分类性能，其中语言表达多样、微妙，常带有讽刺或隐喻。
• 在不使用昂贵目标检测器的前提下，通过增强语言理解能力，同时保持训练和推理效率。
• 探究预训练语言模型是否能缓解字幕数据集与真实世界社交媒体输入之间的分布偏移问题。
• 评估在多模态模型中，深层语言编码器与深层视觉编码器在情感分析任务中的影响，特别是其相互作用。

提出的方法

• VAuLT 用来自大型预训练语言模型（如 BERT）的上下文表征替换 ViLT 的标准语言嵌入层，这些表征被输入至 ViLT 编码器。
• 模型对语言模型和 ViLT 进行端到端的联合微调，实现增强语言特征与视觉-语言表征空间之间的对齐。
• 视觉输入通过线性投影的图像块进行处理，保持了 ViLT 的计算效率。
• 该方法具有模块化特性：语言模型作为特征提取器，其输出被注入到 ViLT 的输入嵌入层，而无需修改其核心架构。
• 实验对比了 VAuLT 与 ViLT、冻结语言模型变体，以及采用深层视觉编码器的模型（如 TomViLT、TomVAuLT），以隔离深层语言建模的贡献。
• 该方法在多个基准数据集上进行评估：TWITTER-2015、TWITTER-2017、MVSA-Single 和 MVSA-Multiple，所有数据集均涉及情感化语言和多模态情感分析。

实验结果

研究问题

• RQ1 通过预训练语言模型增强 ViLT 的语言表征，是否能显著提升其在语言复杂多样的社交媒体情感分类任务中的性能？
• RQ2 对语言模型和 ViLT 进行联合微调是否优于仅微调 ViLT 或使用冻结语言模型？
• RQ3 多模态模型的性能在多大程度上依赖于其语言编码器和视觉编码器的深度，特别是在情感分析任务中？
• RQ4 预训练语言模型是否能在无需大量微调的情况下，弥合字幕数据集与真实世界社交媒体数据之间的分布差异？
• RQ5 在多模态情感分类中，使用深层语言编码器是否优于或与深层视觉编码器产生冲突？

主要发现

• VAuLT 在情感分类任务上相较 ViLT 实现了 20% 的相对性能提升，证明了增强语言表征的显著收益。
• 语言模型与 ViLT 的联合微调至关重要——使用冻结语言模型的性能与 ViLT 相当或更差。
• 在 TWITTER-2015 上，VAuLT 达到 75.0% 的准确率和 69.0% 的宏 F1，优于 ViLT（69.6% 和 60.3%）以及 TomViLT（73.2% 和 66.1%）。
• 在 TWITTER-2017 上，VAuLT 达到 67.8% 的准确率和 64.9% 的宏 F1，优于 ViLT（64.0% 和 58.0%）以及 TomViLT（67.3% 和 64.4%）。
• TomVAuLT 与 TomViLT 的实验表明，当已存在深层语言编码器时，引入深层视觉编码器反而会损害性能，挑战了视觉编码器强度必要性的既有假设。
• VAuLT 在所有评估基准上均达到最先进或具有竞争力的性能，包括 MVSA-Single 和 MVSA-Multiple，且计算开销极低。