[论文解读] Semi-supervised Target-level Sentiment Analysis via Variational Autoencoder.

Weidi Xu, Ying Tan|arXiv (Cornell University)|Oct 24, 2018

Sentiment Analysis and Opinion Mining参考文献 21被引用 2

一句话总结

本文提出了一种基于变分自编码器的Transformer模型（VAET）的半监督方法，用于方面词情感分析（ATSA），该方法将潜在表征解耦为特定于方面的感情和词汇上下文，以预测未标记数据的情感。该方法在四种分类器上均提升了性能，并在SemEval 2014任务4上取得了最先进结果。

ABSTRACT

Aspect-term sentiment analysis (ATSA) is a longstanding challenge in natural language understanding. It requires fine-grained semantical reasoning about a target entity appeared in the text. As manual annotation over the aspects is laborious and time-consuming, the amount of labeled data is limited for supervised learning. This paper proposes a semi-supervised method for the ATSA problem by using the Variational Autoencoder based on Transformer (VAET), which models the latent distribution via variational inference. By disentangling the latent representation into the aspect-specific sentiment and the lexical context, our method induces the underlying sentiment prediction for the unlabeled data, which then benefits the ATSA classifier. Our method is classifier agnostic, i.e., the classifier is an independent module and various advanced supervised models can be integrated. Experimental results are obtained on the SemEval 2014 task 4 and show that our method is effective with four classical classifiers. The proposed method outperforms two general semisupervised methods and achieves state-of-the-art performance.

研究动机与目标

• 为解决方面词情感分析（ATSA）中因每个目标实体需要细粒度情感推理而导致的标注数据有限的挑战。
• 开发一种半监督方法，利用未标记数据提升ATSA性能，而无需大量人工标注。
• 设计一种与分类器无关的框架，可与多种先进的监督模型集成。
• 通过在解耦的潜在空间中进行变分推断，建模未标记数据的潜在情感分布。

提出的方法

• 该方法采用基于Transformer的变分自编码器（VAET），通过变分推断建模输入文本与方面目标的联合分布。
• 它将潜在表征解耦为两个分量：一个捕捉特定于方面的感情，另一个编码句子的词汇上下文。
• 通过后验推断，利用解耦的潜在变量为未标记数据生成情感预测。
• 随后，将未标记数据的预测情感标签用于预训练或微调下游ATSA分类器。
• 该框架与分类器无关，可与多种监督模型（如BERT、BiLSTM和CNN）无缝集成。
• 通过重建损失与情感预测损失的组合，端到端训练模型，同时优化生成与判别目标。

实验结果

研究问题

• RQ1 在标注数据稀缺的情况下，基于变分推断的半监督方法能否提升ATSA性能？
• RQ2 解耦的潜在表征在ATSA中能否有效捕捉特定于方面的感情与上下文信息？
• RQ3 所提出的方法在ATSA设置下是否能在不同分类器架构上实现泛化？
• RQ4 与通用的半监督学习基线相比，该方法在ATSA基准上的性能如何？

主要发现

• 所提方法在SemEval 2014任务4的方面词情感分析基准上达到了最先进性能。
• 其性能优于两种通用的半监督学习方法，证明了在利用未标记数据方面的优越性。
• 该方法在四种经典分类器上均提升了性能，证实其作为即插即用模块的兼容性与有效性。
• 解耦的潜在表征使未标记样本的情感预测更加准确，从而增强了下游分类器的性能。
• 与分类器无关的设计使其可无缝集成到多种先进模型中，显著提升了实际应用价值。
• 模型性能的提升归因于潜在空间中情感与上下文的有效解耦，从而实现了更好的泛化能力。