[论文解读] Selective Attention Based Graph Convolutional Networks for Aspect-Level Sentiment Classification

Xiaochen Hou, Jing Huang+3 more|arXiv (Cornell University)|Oct 24, 2019

Sentiment Analysis and Opinion Mining被引用 15

一句话总结

该论文提出SA-GCN，一种基于选择性注意力的图卷积网络，通过整合BERT编码表示、依赖树语法的GCN以及top-k注意力选择的上下文词，以解决长距离依赖问题，从而提升方面级情感分类性能。通过将观点抽取作为辅助任务进行联合训练，该模型在SemEval基准测试中取得了最先进（SOTA）的性能表现。

ABSTRACT

Aspect-level sentiment classification aims to identify the sentiment polarity towards a specific aspect term in a sentence. Most current approaches mainly consider the semantic information by utilizing attention mechanisms to capture the interactions between the context and the aspect term. In this paper, we propose to employ graph convolutional networks (GCNs) on the dependency tree to learn syntax-aware representations of aspect terms. GCNs often show the best performance with two layers, and deeper GCNs do not bring additional gain due to over-smoothing problem. However, in some cases, important context words cannot be reached within two hops on the dependency tree. Therefore we design a selective attention based GCN block (SA-GCN) to find the most important context words, and directly aggregate these information into the aspect-term representation. We conduct experiments on the SemEval 2014 Task 4 datasets. Our experimental results show that our model outperforms the current state-of-the-art.

研究动机与目标

• 解决标准GCN在依赖树上当方面词与观点词相距超过两跳时，难以捕捉长距离句法依赖的问题。
• 通过自注意力机制直接关注最相关的上下文词（尤其是观点词），以提升方面级情感分类性能。
• 通过将情感分类与观点词抽取作为辅助任务联合训练，提升模型的鲁棒性与可解释性。
• 通过选择性地聚焦于高影响力上下文词而非在所有节点上传播信息，缓解深层GCN中的过平滑问题。

提出的方法

• 模型使用BERT对句子中的方面词和上下文词进行初始表示编码。
• 在依赖树上应用GCN，以传播句法信息并学习语法感知的表示。
• 采用top-k多头自注意力机制，基于注意力分数为每个方面词选择k个最相关的上下文词。
• 在所选的top-k上下文词上应用第二层GCN，将它们的信息整合到方面词表示中。
• 通过CRF解码器为注意力选择过程提供额外监督，联合训练情感分类与观点词抽取任务。
• 采用头独立选择策略，聚合各注意力头的注意力分数，通过过滤噪声或不一致的选择提升模型鲁棒性。

实验结果

研究问题

• RQ1 当观点词在依赖树上与方面词相距较远时，选择性注意力机制是否能提升基于GCN的方面级情感分类模型性能？
• RQ2 与观点词抽取联合训练是否能提升方面级情感分类模型的性能与可解释性？
• RQ3 在注意力选择策略中，采用头独立与头依赖策略对模型性能与鲁棒性有何影响？
• RQ4 所提出的SA-GCN模型在多大程度上缓解了深层GCN在长距离依赖学习中的过平滑问题？

主要发现

• SA-GCN在四个SemEval基准数据集上均取得最先进性能：在14Rest数据集上准确率为86.16%，宏F1为80.54%；在14Lap数据集上准确率为80.31%，宏F1为76.99%；在15Rest数据集上准确率为84.18%，宏F1为69.42%；在16Rest数据集上准确率为91.41%，宏F1为80.39%。
• 消融实验表明，移除top-k选择模块后，所有数据集的准确率与宏F1均下降，证实其在过滤噪声上下文中的关键作用。
• 头独立注意力选择优于头依赖选择，因其能聚合多个注意力头的一致性，减少不一致选择带来的噪声。
• 句长分析显示，SA-GCN在所有句长范围内均保持高于标准GCN的准确率，尤其在长句中提升更显著，验证了其在长距离依赖建模中的有效性。
• 与观点抽取任务的联合训练同时提升了情感分类与观点抽取性能，SA-GCN在所有数据集上均优于基线模型IOG与ASTE。