[论文解读] Sentiment Transfer using Seq2Seq Adversarial Autoencoders

Ayush Singh, Ritu Palod|arXiv (Cornell University)|Apr 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 13被引用 10

一句话总结

该论文提出了一种用于非平行文本无监督情感迁移的序列到序列对抗自编码器模型，通过对抗训练分离内容和风格表征。该模型在保持语义内容的同时实现了67%的情感迁移准确率，证明了无需平行语料即可实现有效的风格迁移。

ABSTRACT

Expressing in language is subjective. Everyone has a different style of reading and writing, apparently it all boil downs to the way their mind understands things (in a specific format). Language style transfer is a way to preserve the meaning of a text and change the way it is expressed. Progress in language style transfer is lagged behind other domains, such as computer vision, mainly because of the lack of parallel data, use cases, and reliable evaluation metrics. In response to the challenge of lacking parallel data, we explore learning style transfer from non-parallel data. We propose a model combining seq2seq, autoencoders, and adversarial loss to achieve this goal. The key idea behind the proposed models is to learn separate content representations and style representations using adversarial networks. Considering the problem of evaluating style transfer tasks, we frame the problem as sentiment transfer and evaluation using a sentiment classifier to calculate how many sentiments was the model able to transfer. We report our results on several kinds of models.

研究动机与目标

• 通过利用非平行语料实现无监督学习，解决文本风格迁移中缺乏平行数据的问题。
• 使用对抗自编码器在文本中解耦内容与风格表征，以实现情感迁移。
• 开发一种可靠的评估方法，利用情感分类器进行情感迁移评估。
• 在改变情感的同时，提升风格迁移的泛化能力和内容保留性。
• 探索对抗训练与自编码器架构在序列到序列生成中用于情感迁移的有效性。

提出的方法

• 使用共享内容编码器和多个风格特定解码器的序列到序列自编码器，以分离内容与风格表征。
• 采用对抗损失，训练生成器生成逼真的风格迁移结果，同时保持内容不变。
• 将情感分类器作为判别器，通过优化情感转移目标来强制实现风格迁移。
• 使用反向传播和梯度下降端到端训练模型，最小化重构损失与对抗损失。
• 采用动态批量处理，将长度相近的句子组合成批次，以提高训练效率。
• 对Yelp评论进行预处理：筛选为正面/负面情感（排除中性样本）、转为小写、替换数字、去除标点符号，并将词汇表限制为最常用的10,000个词。

实验结果

研究问题

• RQ1 能否在无平行训练数据的情况下，通过对抗自编码器实现有效的情感迁移？
• RQ2 解耦的内容-风格表征在情感迁移过程中，对语义意义的保留效果如何？
• RQ3 对抗训练对迁移文本的质量与连贯性有何影响？
• RQ4 该模型在情感迁移准确率与人类感知的流畅性方面表现如何？
• RQ5 该模型在保持内容保真度的同时，能否在不同情感极性间实现良好泛化？

主要发现

• 所提出的模型实现了67%的情感迁移准确率，表明在无平行数据条件下仍能实现有效的风格迁移。
• 定性分析显示，自编码器模型在情感迁移过程中生成了连贯、流畅且语义保留的输出。
• 标准序列到序列模型和简化模型通常仅替换少数关键词，导致风格迁移结果不够连贯或不一致。
• 双向模型及简化双向模型相比简单基线模型，表现出更高的流畅性与内容保留性。
• 模型成功保留了核心内容，同时实现了情感迁移，表现为输入与输出之间语义结构的一致性。
• 采用长度相近的序列进行动态批量处理，使训练效率提高了两倍。