[论文解读] Unsupervised Multimodal Language Representations using Convolutional Autoencoders

Panagiotis Koromilas, Theodoros Giannakopoulos|arXiv (Cornell University)|Oct 6, 2021

Topic Modeling被引用 10

一句话总结

本文提出了一种无监督多模态表征学习方法，利用词对齐的音频、文本和视觉序列上的二维卷积自编码器（CAE）。通过在多个数据集上无监督训练，该模型学习到紧凑且可迁移的嵌入表征，在仅使用逻辑回归进行情感与情绪识别时达到接近最先进水平的性能，参数量仅约257K，且在不同领域和数据分布间表现出强大的泛化能力。

ABSTRACT

Multimodal Language Analysis is a demanding area of research, since it is associated with two requirements: combining different modalities and capturing temporal information. During the last years, several works have been proposed in the area, mostly centered around supervised learning in downstream tasks. In this paper we propose extracting unsupervised Multimodal Language representations that are universal and can be applied to different tasks. Towards this end, we map the word-level aligned multimodal sequences to 2-D matrices and then use Convolutional Autoencoders to learn embeddings by combining multiple datasets. Extensive experimentation on Sentiment Analysis (MOSEI) and Emotion Recognition (IEMOCAP) indicate that the learned representations can achieve near-state-of-the-art performance with just the use of a Logistic Regression algorithm for downstream classification. It is also shown that our method is extremely lightweight and can be easily generalized to other tasks and unseen data with small performance drop and almost the same number of parameters. The proposed multimodal representation models are open-sourced and will help grow the applicability of Multimodal Language.

研究动机与目标

• 开发一种通用的、无监督的多模态表征学习框架，能够跨多样化的录音条件和任务泛化。
• 解决监督模型在多模态语言分析中的局限性，这些模型通常难以泛化到未见过的数据或录音设置。
• 构建一种轻量化、参数高效的架构，在不重新训练核心表征模型的前提下，保持在不同下游任务中的高性能。
• 通过在多个数据集上预训练，并使用相同的编码器支持零样本或少样本迁移学习，实现对多样化应用的即插即用。
• 开源该模型，为下游多模态任务提供无需微调表征网络的开箱即用解决方案。

提出的方法

• 对音频、文本和视觉特征序列应用词级对齐，将每个话语转换为表示模态特征随时间变化的2D张量（矩阵）。
• 对齐后的2D序列经过归一化后输入卷积自编码器（CAE），通过端到端重建输入张量来学习联合多模态表征。
• CAE的编码器组件作为通用特征提取器，生成低维、共享的嵌入表征，捕捉时间依赖性和跨模态关联。
• 在下游分类任务中，将学习到的嵌入作为简单逻辑回归分类器的输入，且不微调CAE权重。
• 在多个数据集（如MOSEI和IEMOCAP）上预训练模型，并通过将同一编码器应用于新任务来评估迁移学习性能。
• 通过仅使用部分模态，该方法支持单模态和双模态表征学习，同时保持相同的轻量化架构。

实验结果

研究问题

• RQ1 能否使用单一统一架构，在无监督条件下捕捉所有三种模态（音频、文本、视觉）之间的交互关系，实现无监督多模态表征学习？
• RQ2 当将学到的表征迁移到具有不同录音条件的新数据集时，其在情感分析和情绪识别等下游任务中的泛化能力如何？
• RQ3 与最先进监督模型相比，该方法在多模态语言分析中的性能表现和参数效率如何？
• RQ4 是否可以无需重新训练或微调，直接在不同任务和数据集上复用同一预训练编码器，且性能下降极小？
• RQ5 结合来自多个数据集（如MOSEI和IEMOCAP）的预训练数据，在多大程度上能提升学到表征的鲁棒性和泛化能力？

主要发现

• 所提出的基于CAE的方法在MOSEI（情感分析）和IEMOCAP（情绪识别）上均达到接近最先进性能，参数量仅为257,206。
• 在MOSEI上，使用逻辑回归对CAE嵌入进行分类，二分类准确率达到0.787，表明在下游任务中仅需极简复杂度即可实现优异性能。
• 当从IEMOCAP将知识迁移到MOSEI时，二分类准确率仅下降0.5个百分点，表明具有强大的跨领域泛化能力。
• 联合在MOSEI和IEMOCAP上进行预训练，相比仅在MOSEI上预训练，能进一步提升下游性能，证明多数据集学习的优势。
• 该模型在各类任务中保持一致的参数量（约257K），而其他模型的参数量则显著变化（如从415K到2300万），证明其具有高度可迁移性与低计算成本。
• 即使在单模态或双模态设置下，该方法依然有效，当仅使用一种或两种模态时，性能和效率保持相近。