[论文解读] TextMI: Textualize Multimodal Information for Integrating Non-verbal Cues in Pre-trained Language Models

Md. Kamrul Hasan, Md. Saiful Islam+5 more|arXiv (Cornell University)|Mar 27, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

TextMI 提出了一种将视频中的语音和视觉非语言线索文本化为自然语言描述的方法，这些描述随后与口语文本拼接，并输入预训练的 BERT 模型以实现多模态行为理解。该方法在多模态反讽检测任务中表现优异，在情感和幽默检测任务中达到接近最先进（near-SOTA）的性能，显著降低了模型复杂度，同时提升了可解释性。

ABSTRACT

Pre-trained large language models have recently achieved ground-breaking performance in a wide variety of language understanding tasks. However, the same model can not be applied to multimodal behavior understanding tasks (e.g., video sentiment/humor detection) unless non-verbal features (e.g., acoustic and visual) can be integrated with language. Jointly modeling multiple modalities significantly increases the model complexity, and makes the training process data-hungry. While an enormous amount of text data is available via the web, collecting large-scale multimodal behavioral video datasets is extremely expensive, both in terms of time and money. In this paper, we investigate whether large language models alone can successfully incorporate non-verbal information when they are presented in textual form. We present a way to convert the acoustic and visual information into corresponding textual descriptions and concatenate them with the spoken text. We feed this augmented input to a pre-trained BERT model and fine-tune it on three downstream multimodal tasks: sentiment, humor, and sarcasm detection. Our approach, TextMI, significantly reduces model complexity, adds interpretability to the model's decision, and can be applied for a diverse set of tasks while achieving superior (multimodal sarcasm detection) or near SOTA (multimodal sentiment analysis and multimodal humor detection) performance. We propose TextMI as a general, competitive baseline for multimodal behavioral analysis tasks, particularly in a low-resource setting.

研究动机与目标

• 探究预训练语言模型在以文本形式呈现非语言线索时，是否能有效整合这些线索。
• 通过避免端到端的多模态融合，减少多模态行为理解中的模型复杂度和数据需求。
• 通过将非语言特征表示为人类可读的文本，提升模型决策的可解释性。
• 为多模态情感计算任务建立一个简单、可泛化的基线，尤其适用于低资源场景。

提出的方法

• 使用 OpenFace 和 OpenSMILE 从视频中提取视觉和语音特征。
• 使用 K-means 聚类将提取的特征划分为有限组，形成具有代表性的非语言模式。
• 使用基于提示的方法为每个聚类生成自然语言描述（视觉-文本和语音-文本）。
• 将生成的视觉-文本和语音-文本与原始口语文本拼接，形成统一的文本输入。
• 在增强的文本输入上微调预训练的 BERT 模型，以执行下游多模态任务。
• 使用公开数据集在三个多模态任务上评估模型：情感分析、幽默检测和反讽检测。

Figure 1: Instead of using complex models that try to fuse multiple modalities, we rely on a single pre-trained language model (left). To textualize nonverbal (visual and acoustic) cues, we group unimodal features that frequently appear together into finite number of clusters, and then describe the

实验结果

研究问题

• RQ1 当非语言线索以前置文本形式呈现时，预训练语言模型是否能有效理解并利用这些线索？
• RQ2 与传统的多模态融合方法相比，将视觉和语音特征文本化对多模态行为理解任务性能有何影响？
• RQ3 在低资源设置下，该方法在多大程度上降低了模型复杂度并提升了可解释性？
• RQ4 该方法是否能在多种多模态情感计算任务中作为强大且可泛化的基线？

主要发现

• TextMI 在多模态反讽检测任务中实现了最先进（SOTA）性能，优于现有 SOTA 模型。
• 在多模态情感分析和幽默检测任务中，该方法在所有评估指标上均达到接近最先进（near-SOTA）的性能。
• 消融实验证实，添加语音-文本和视觉-文本显著提升了准确率，尤其在 CMU-MOSI 和 MUStARD 等小规模数据集上表现更优。
• 与仅使用文本的 BERT 相比，该模型在情感强度预测方面表现更优，表明其更好地整合了非语言细微差别。
• 通过使用自然语言描述呈现非语言线索，该方法显著提升了模型决策的可解释性。
• 由于使用了预训练语言模型并降低了训练复杂度，该方法计算效率高，适用于低资源环境。

Figure 2: A multimodal sentiment analysis example to illustrate how the model put importance on text, acoustic and visual words. (a) word importance’s are highlighted by color. (b) shows how the visual-text and acoustic-text are extracted. [CLS] and [SEP] are special tokens of BERT.