[论文解读] Variational Semi-supervised Aspect-term Sentiment Analysis via Transformer

Xingyi Cheng, Weidi Xu+2 more|arXiv (Cornell University)|Oct 24, 2018

Sentiment Analysis and Opinion Mining被引用 5

一句话总结

本文提出 ASVAET，一种与分类器无关的半监督框架，用于方面-术语情感分析（ATSA），该框架利用基于 Transformer 的变分自编码器（VAE）在潜在空间中解耦情感极性与词汇上下文。通过在有标签和无标签数据上联合训练分类器与 VAE，该方法在 SemEval 2014 数据集上对五种分类器均实现了性能提升，仅使用少量有标签数据时，准确率最高提升达 3.2%。

ABSTRACT

Aspect-term sentiment analysis (ATSA) is a longstanding challenge in natural language understanding. It requires fine-grained semantical reasoning about a target entity appeared in the text. As manual annotation over the aspects is laborious and time-consuming, the amount of labeled data is limited for supervised learning. This paper proposes a semi-supervised method for the ATSA problem by using the Variational Autoencoder based on Transformer (VAET), which models the latent distribution via variational inference. By disentangling the latent representation into the aspect-specific sentiment and the lexical context, our method induces the underlying sentiment prediction for the unlabeled data, which then benefits the ATSA classifier. Our method is classifier agnostic, i.e., the classifier is an independent module and various advanced supervised models can be integrated. Experimental results are obtained on the SemEval 2014 task 4 and show that our method is effective with four classical classifiers. The proposed method outperforms two general semisupervised methods and achieves state-of-the-art performance.

研究动机与目标

• 解决方面-术语情感分析（ATSA）中因人工标注方面-情感对而带来的标注数据有限问题，该过程耗时费力。
• 开发一种半监督框架，有效利用大量无标签文本以提升 ATSA 性能。
• 通过将情感分类器与表征学习模块解耦，实现与分类器无关的集成。
• 将潜在表征解耦为与方面相关的感情极性和词汇上下文，以提升泛化能力与可解释性。
• 在基准 ATSA 数据集上，验证该方法在多种最先进分类器上的有效性。

提出的方法

• 使用基于 Transformer 的编码器从输入句子中提取上下文表征。
• 采用具有解耦潜在空间的变分自编码器（VAE），以建模两个独立成分：情感极性（y）和词汇上下文（z）。
• 通过在 y 和 z 条件下使用两个单向语言模型来重建输入句子，训练 VAE，实现受控的句子生成。
• 通过在组件之间不共享词嵌入，将分类器与 VAE 解耦，确保性能提升源于半监督学习，而非多任务优化。
• 通过利用解耦的潜在表征，执行变分推断，隐式预测无标签数据的情感标签。
• 将该框架作为即插即用模块，与多种监督分类器（如 MemNet、TC-LSTM、IAN、BILSTM-ATT-G、TNet-AS）集成，实现与分类器无关的性能提升。

实验结果

研究问题

• RQ1 当仅有少量有标签数据时，基于半监督 VAE 的框架是否能提升 ATSA 性能？
• RQ2 在潜在空间中解耦情感极性与词汇上下文是否能带来更好的泛化能力与分类器性能提升？
• RQ3 与现有半监督方法（如领域内预训练和自训练）相比，该方法在多大程度上表现更优？
• RQ4 性能提升是源于 VAE 对潜在结构的建模能力，还是源于与自编码器的共享优化？
• RQ5 该框架是否能无需架构修改地有效集成到多种监督分类器中？

主要发现

• ASVAET 框架在 SemEval 2014 REST 和 Laptop 数据集上，对五种不同分类器均实现了稳定性能提升，准确率提升范围为 1.5% 至 3.2%，具体取决于有标签数据量。
• 仅使用 500 个有标签样本时，该方法相比基线分类器实现了 3.2% 的准确率提升，展现出强大的数据效率。
• 该方法优于领域内预训练词嵌入和自训练基线，表明其具备更优越的半监督学习能力。
• 当分类器与自编码器之间共享词嵌入时，性能下降，表明性能增益源于解耦表征学习，而非联合优化。
• t-SNE 可视化结果证实，潜在表征 z 与情感极性 y 独立，验证了 VAE 的解耦有效性。
• 受控的句子生成实验表明，解码器能够生成语义连贯的句子，同时在保持词汇上下文不变的前提下改变情感极性，证实了模型对 y 的条件控制能力。