[论文解读] Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding

Jiaxin Huang, Meng Yu+3 more|arXiv (Cornell University)|Oct 13, 2020

Sentiment Analysis and Opinion Mining参考文献 32被引用 4

一句话总结

该论文提出 JASen，一种弱监督的方面级情感分析方法，通过仅使用每个方面/情感的少量关键词，在词嵌入空间中联合学习情感-方面主题嵌入。通过利用基于嵌入的预测进行预训练和自训练卷积神经网络，该模型实现了最先进性能，在方面分类和情感分类上的平均 F1 分数分别优于基线模型 7.4% 和 5.1%。

ABSTRACT

Aspect-based sentiment analysis of review texts is of great value for understanding user feedback in a fine-grained manner. It has in general two sub-tasks: (i) extracting aspects from each review, and (ii) classifying aspect-based reviews by sentiment polarity. In this paper, we propose a weakly-supervised approach for aspect-based sentiment analysis, which uses only a few keywords describing each aspect/sentiment without using any labeled examples. Existing methods are either designed only for one of the sub-tasks, neglecting the benefit of coupling both, or are based on topic models that may contain overlapping concepts. We propose to first learn joint topic embeddings in the word embedding space by imposing regularizations to encourage topic distinctiveness, and then use neural models to generalize the word-level discriminative information by pre-training the classifiers with embedding-based predictions and self-training them on unlabeled data. Our comprehensive performance analysis shows that our method generates quality joint topics and outperforms the baselines significantly (7.4% and 5.1% F1-score gain on average for aspect and sentiment classification respectively) on benchmark datasets. Our code and data are available at https://github.com/teapot123/JASen.

研究动机与目标

• 解决在无需大规模标注数据的情况下进行方面级情感分析的挑战。
• 通过在词嵌入空间中学习细粒度的联合主题嵌入，联合建模情感和方面信息。
• 通过捕捉如 'semi-private' 这类词语中同时表达氛围和正面情感的共享语义，提升方面抽取和情感分类的性能。
• 通过强制学习到的联合主题具有区分性，克服主题模型的局限性，如主题重叠和不稳定性。
• 通过基于嵌入的预测在无标签数据上实现神经分类器的有效自训练。

提出的方法

• 使用正则化在共享的词嵌入空间中为每个 ⟨情感, 方面⟩ 对学习联合主题嵌入，以强制实现主题的区分性。
• 在领域内语料上联合训练主题和词嵌入，对所有联合主题建模用户提供的关键词分布。
• 利用学习到的联合主题表示，为无标签评论生成基于嵌入的预测。
• 使用这些基于嵌入的预测作为监督信号，对卷积神经网络（CNNs）进行预训练。
• 通过在无标签数据上使用模型生成的高置信度预测进行自训练，进一步优化 CNN。
• 采用联合学习目标，促使模型将关键词与特定的 ⟨情感, 方面⟩ 对关联起来，同时在嵌入空间中保持语义一致性。

实验结果

研究问题

• RQ1 在词嵌入空间中学习联合情感-方面主题嵌入是否能提升弱监督方面级情感分析的性能？
• RQ2 仅使用少量关键词学习具有区分性且连贯的联合主题，是否能比分别建模方面和情感带来更好的泛化能力？
• RQ3 基于嵌入的预测是否能有效预训练神经模型，并可通过在无标签数据上的自训练进一步优化？
• RQ4 在方面和情感分类的 F1 分数方面，该方法与现有基于主题模型和神经网络的方法相比表现如何？
• RQ5 该模型能否捕捉到如 'semi-private' 这类细粒度、上下文特定的词语，这些词语能同时表达方面和情感？

主要发现

• 所提出的 JASen 模型在基准数据集上，方面分类的平均 F1 分数比基线模型高出 7.4%。
• 该模型在情感极性分类上的平均 F1 分数比基线模型高出 5.1%。
• 该模型生成了语义连贯的词语聚类，例如 'semi-private' 和 'date' 分别描述 ⟨good, ambience⟩ 联合主题。
• 消融实验表明，若移除联合主题学习，性能显著下降，证实了其重要性。
• 该模型能正确区分同一领域中相似的方面，如 'os' 和 'support'，而其他模型则容易将它们混淆。
• 案例研究显示，在模糊情况下，该模型的预测往往比标准标注更符合上下文，例如在描述氛围的评论中更倾向于选择 'ambience' 而非 'location'。