[论文解读] Relational Graph Attention Network for Aspect-based Sentiment Analysis

Kai Wang, Weizhou Shen+3 more|arXiv (Cornell University)|Apr 26, 2020

Sentiment Analysis and Opinion Mining参考文献 31被引用 48

一句话总结

本文提出 R-GAT，一种建立在面向方面的依赖树上的关系图注意网络，用以提升 ABSA。它在与 BERT 结合时，展现了最先进的结果，尤其显著。

ABSTRACT

Aspect-based sentiment analysis aims to determine the sentiment polarity towards a specific aspect in online reviews. Most recent efforts adopt attention-based neural network models to implicitly connect aspects with opinion words. However, due to the complexity of language and the existence of multiple aspects in a single sentence, these models often confuse the connections. In this paper, we address this problem by means of effective encoding of syntax information. Firstly, we define a unified aspect-oriented dependency tree structure rooted at a target aspect by reshaping and pruning an ordinary dependency parse tree. Then, we propose a relational graph attention network (R-GAT) to encode the new tree structure for sentiment prediction. Extensive experiments are conducted on the SemEval 2014 and Twitter datasets, and the experimental results confirm that the connections between aspects and opinion words can be better established with our approach, and the performance of the graph attention network (GAT) is significantly improved as a consequence.

研究动机与目标

• 解决 ABSA 中由于复杂语法和每句中存在多个方面而导致的方面与观点词之间的错位。
• 提出以目标方面为根的面向方面的依赖树，以聚焦相关的句法关系。
• 开发 Relational Graph Attention Network (R-GAT)，编码带标签的依赖边以用于 ABSA。
• 在 SemEval 2014 的 Restaurant/Laptop 数据集以及 Twitter 上评估 R-GAT，以展示方面与观点之间连接的改善及整体性能提升。

提出的方法

• 通过重塑普通依赖解析树，使其以目标方面为根并剪枝以保留指向该方面的直接边，构建面向方面的依赖树。
• 引入 Relational Graph Attention Network (R-GAT)，在 GAT 的基础上扩展为关系感知头，以纳入来自依赖关系的边标签。
• 使用 BiLSTM 编码节点表示，第二个 BiLSTM 将方面词编码为根节点。
• 通过多头注意力和关系头，结合关系嵌入与门控，计算节点表示（论文中的方程式 1–7）。
• 聚合根表示，并使用 softmax 层进行情感分类（方程式 8–9）。
• 可选地通过输入 BERT 衍生的词表示并在 ABSA 任务上进行微调，将 R-GAT 与 BERT 结合。

实验结果

研究问题

• RQ1 我们如何重新设计 ABSA 的句法输入，以更好地将目标方面与其观点词连接起来？
• RQ2 面向方面的依赖结构是否能提升 ABSA 相对于标准依赖树的性能？
• RQ3 关系感知的图注意机制是否能更好地利用句法边标签进行方面级情感分类？
• RQ4 将 R-GAT 与如 BERT 这样的预训练模型整合对 ABSA 基准测试有何影响？

主要发现

方法	Restaurant（准确率）	Restaurant（Macro-F1）	Laptop（准确率）	Laptop（Macro-F1）	Twitter（准确率）	Twitter（Macro-F1）
R-GAT	83.30	76.08	77.42	73.82	75.57	73.82
R-GAT+BERT	86.60	81.35	78.21	74.07	76.15	74.88

• R-GAT 在 ABSA 基准测试中优于多数基线，R-GAT+BERT 实现了最先进的结果。
• 带有 n:con 边的面向方面树在对抗解析错误和远距离依赖方面的鲁棒性有所提升。
• 关系头使模型能够根据依赖关系调节信息流，改善方面与观点词之间的连接。
• 消融研究表明，新树结构和 n:con 边对跨数据集的性能提升贡献显著。
• 结合 R-GAT 时，双仿射解析（Biaffine parsing）比斯坦福解析（Stanford parsing）在 ABSA 上表现更好。
• 错误分析强调仍存在的挑战，如含修饰语的中性评价、对深层语言理解的需求以及双重否定。