[论文解读] Seq2Seq2Sentiment: Multimodal Sequence to Sequence Models for Sentiment Analysis

Hai Pham, Thomas Manzini+2 more|arXiv (Cornell University)|Jul 11, 2018

Topic Modeling参考文献 35被引用 14

一句话总结

本文提出了两种无监督的多模态序列到序列模型——序列到序列模态转换模型与分层序列到序列模态转换模型——用于从文本、音频和视频数据中学习联合表征。通过利用跨模态的序列依赖关系，该模型在CMU-MOSI数据集上的双模态情感分析任务中实现了12个百分点的F1分数提升，优于监督基线模型，证明了无监督预训练在多模态理解中的有效性。

ABSTRACT

Multimodal machine learning is a core research area spanning the language, visual and acoustic modalities. The central challenge in multimodal learning involves learning representations that can process and relate information from multiple modalities. In this paper, we propose two methods for unsupervised learning of joint multimodal representations using sequence to sequence (Seq2Seq) methods: a extit{Seq2Seq Modality Translation Model} and a extit{Hierarchical Seq2Seq Modality Translation Model}. We also explore multiple different variations on the multimodal inputs and outputs of these seq2seq models. Our experiments on multimodal sentiment analysis using the CMU-MOSI dataset indicate that our methods learn informative multimodal representations that outperform the baselines and achieve improved performance on multimodal sentiment analysis, specifically in the Bimodal case where our model is able to improve F1 Score by twelve points. We also discuss future directions for multimodal Seq2Seq methods.

研究动机与目标

• 为解决尽管存在大量未标注多媒体数据，但在多模态情感分析中仍缺乏无监督表征学习的问题。
• 探究通过序列到序列建模学习的联合多模态表征是否能提升下游情感分类性能。
• 研究基于Seq2Seq的架构在捕捉文本、音频和视频之间跨模态及序列依赖关系方面的有效性。
• 将学习到的多模态表征与单模态及多模态监督基线模型的性能进行比较。
• 识别当前多模态模型的局限性，特别是其在共享表征空间中保持文本模态判别能力方面的不足。

提出的方法

• 提出一种序列到序列模态转换模型，通过使用编码器-解码器框架，以类似自编码器的结构从其他模态中重建某一模态，从而学习联合多模态表征。
• 引入一种分层序列到序列模态转换模型，采用两阶段Seq2Seq训练：首先学习各模态特有的表征，然后学习跨模态的联合表征。
• 使用双向LSTM作为编码器，自回归LSTM作为解码器，以建模每个模态内的序列依赖关系，并支持跨模态生成。
• 采用多种输入和输出配置，包括完整的多模态输入以及模态特定的变体，以评估模型的鲁棒性及各模态的贡献。
• 在无监督设置下进行训练，使用重建损失，预训练阶段无需情感标签。
• 在CMU-MOSI数据集上，对学习到的多模态表征进行微调，用于下游情感分类任务。

实验结果

研究问题

• RQ1 无监督序列到序列模型能否有效从文本、音频和视频中学习联合多模态表征，并提升多模态情感分析性能？
• RQ2 Seq2Seq模型的不同输入和输出配置如何影响所学习到的多模态表征的质量？
• RQ3 与标准Seq2Seq方法相比，分层架构在多模态设置下是否能提升表征学习性能？
• RQ4 所学习到的表征在多大程度上保留了文本模态的判别能力，特别是与单模态文本基线相比？
• RQ5 在CMU-MOSI训练集规模有限的情况下，是否可以通过在更大规模的外部数据集上进行预训练来提升性能？

主要发现

• 所提出的序列到序列模态转换模型在双模态情感分析设置中相比基线模型实现了12个百分点的F1分数提升。
• 该模型优于单模态和多模态监督基线模型，证明了基于序列建模的无监督预训练具有实际价值。
• 文本模态仍是最具判别性的；模型性能受限于共享多模态空间中文本表征的退化。
• 仅从音频和视频中学习到的表征表现较差，证实其判别能力低于文本模态。
• 分层Seq2Seq模型展现出潜力，但受数据稀缺限制，表明更大规模数据集或预训练可能进一步提升性能。
• 本研究发现，表征学习头与分类头的独立训练限制了性能，提示端到端训练可能带来进一步提升。