[论文解读] Various Approaches to Aspect-based Sentiment Analysis

Amlaan Bhoi, Sandeep Joshi|arXiv (Cornell University)|May 5, 2018

Sentiment Analysis and Opinion Mining参考文献 11被引用 23

一句话总结

本文评估了多种基于方面的情感分析方法，比较了经典机器学习模型（如SVM、XGBoost）与深度学习架构（如Attention-LSTM、MemNet），采用TF-IDF、ID编码、位掩码和位置编码特征。MemNet模型在技术评论数据集上达到0.713的准确率，在食品评论数据集上达到0.7866，优于其他方法，归因于其多跳注意力机制能够更好地抽象方面-上下文关系。

ABSTRACT

The problem of aspect-based sentiment analysis deals with classifying sentiments (negative, neutral, positive) for a given aspect in a sentence. A traditional sentiment classification task involves treating the entire sentence as a text document and classifying sentiments based on all the words. Let us assume, we have a sentence such as "the acceleration of this car is fast, but the reliability is horrible". This can be a difficult sentence because it has two aspects with conflicting sentiments about the same entity. Considering machine learning techniques (or deep learning), how do we encode the information that we are interested in one aspect and its sentiment but not the other? Let us explore various pre-processing steps, features, and methods used to facilitate in solving this task.

研究动机与目标

• 调查用于基于方面的情感分析的有效特征工程技术，包括ID编码、位掩码和位置编码。
• 评估经典机器学习模型（如SVM、随机森林、XGBoost）在手工特征下的方面情感分类性能。
• 比较深度学习模型——特别是Attention-LSTM与MemNet——在捕捉方面-上下文依赖关系方面的能力。
• 识别在基于方面的情感分类任务中，预处理、特征工程与模型架构的最佳组合。
• 分析模型在类别不平衡数据集上的表现，尤其关注中性类别F1分数偏低的问题。

提出的方法

• 应用ID编码为每个方面术语分配唯一ID，并为模型输入构建方面序列。
• 使用位掩码通过二进制指示符表示方面术语的位置，而非使用ID。
• 实现位置编码，以编码每个上下文词相对于方面术语的相对位置。
• 为经典机器学习模型采用TF-IDF向量化，使用scikit-learn的实现。
• 构建一个使用GLoVe词嵌入的单层Attention-LSTM深度学习模型，但发现其在捕捉复杂依赖关系方面能力不足。
• 设计了一个MemNet（深度记忆网络），包含多跳注意力机制，结合上下文注意力与位置注意力，使用TensorFlow训练，并针对方面-上下文交互的分层抽象进行优化。

实验结果

研究问题

• RQ1 在ID编码、位掩码和位置编码中，哪种特征工程技术能为基于方面的情感分类提供最有效的表征？
• RQ2 经典机器学习模型（如SVM、XGBoost）与深度学习模型在基于方面的情感分析任务中的性能表现如何比较？
• RQ3 为何尽管采用了Dropout、批量归一化等架构增强手段，单层Attention-LSTM仍在此任务上泛化能力不足？
• RQ4 MemNet的多跳注意力机制在捕捉方面-上下文关系方面，相较于单层注意力模型，性能提升程度如何？
• RQ5 类别不平衡与方面短语复杂性如何影响模型性能，特别是对中性情感类别的影响？

主要发现

• MemNet模型在技术评论数据集上达到最高整体准确率0.713，在食品评论数据集上达到0.7866，优于所有其他模型。
• SVM结合独热编码在经典模型中表现第二佳，分别在技术与食品数据集上取得0.6112与0.6629的准确率。
• ETC（额外树分类器）在技术评论数据集上表现意外优异，准确率达0.7021，但在食品评论数据集上表现失败，其正类F1分数仅为0.3745。
• Attention-LSTM模型表现欠佳，归因于单层注意力机制的抽象能力不足，尽管使用了Dropout、批量归一化与双向LSTM。
• 所有模型中，中性类别始终表现出最低的F1分数，表明类别不平衡问题持续构成挑战。
• 本研究证实，MemNet中的多跳注意力机制对于建模方面与上下文词之间的复杂分层依赖关系至关重要。