[论文解读] Sentence Constituent-Aware Aspect-Category Sentiment Analysis with Graph Attention Networks

Yuncong Li, Cunxiang Yin+1 more|arXiv (Cornell University)|Oct 4, 2020

Sentiment Analysis and Opinion Mining参考文献 24被引用 6

一句话总结

该论文提出SCAN，一种句法成分感知网络，结合图注意力网络与交互损失，通过减少情感词与方面类别之间的错位，提升方面类别情感分析性能。该方法利用短语结构解析树识别与方面类别相关的节点，在五个数据集上表现优于先前方法，尤其在微调BERT时效果显著，有效缓解了情感词与方面类别之间的不匹配问题。

ABSTRACT

Aspect category sentiment analysis (ACSA) aims to predict the sentiment polarities of the aspect categories discussed in sentences. Since a sentence usually discusses one or more aspect categories and expresses different sentiments toward them, various attention-based methods have been developed to allocate the appropriate sentiment words for the given aspect category and obtain promising results. However, most of these methods directly use the given aspect category to find the aspect category-related sentiment words, which may cause mismatching between the sentiment words and the aspect categories when an unrelated sentiment word is semantically meaningful for the given aspect category. To mitigate this problem, we propose a Sentence Constituent-Aware Network (SCAN) for aspect-category sentiment analysis. SCAN contains two graph attention modules and an interactive loss function. The graph attention modules generate representations of the nodes in sentence constituency parse trees for the aspect category detection (ACD) task and the ACSA task, respectively. ACD aims to detect aspect categories discussed in sentences and is a auxiliary task. For a given aspect category, the interactive loss function helps the ACD task to find the nodes which can predict the aspect category but can't predict other aspect categories. The sentiment words in the nodes then are used to predict the sentiment polarity of the aspect category by the ACSA task. The experimental results on five public datasets demonstrate the effectiveness of SCAN.

研究动机与目标

• 解决方面类别情感分析中的不匹配问题，即无关情感词被错误关联至方面类别。
• 通过句法结构（依存解析树）提升情感极性预测性能，无需额外标注。
• 设计一种双图注意力机制，分别建模方面类别检测与情感分类，利用句子成分。
• 引入交互损失函数，鼓励不同方面类别对应不同的节点注意力，增强判别能力。
• 在多样化数据集上验证SCAN的有效性，包括微调BERT的变体。

提出的方法

• SCAN采用两个图注意力网络（GAT）：一个用于方面类别检测（ACD），另一个用于方面类别情感分析（ACSA），二者均基于句子短语结构解析树运行。
• ACD GAT专注于识别解析树中代表方面类别的节点，而ACSA GAT则关注与每个方面类别相关的情感词。
• 引入交互损失函数，确保为某一类别预测的节点不会被其他类别预测，促进注意力判别。
• 该方法使用Berkeley神经解析器生成短语结构解析树，作为GAT的输入结构。
• SCAN通过微调BERT进一步增强，其中GAT识别与方面类别相关的成分，以提升情感预测性能。
• 模型端到端训练，ACD任务作为辅助任务，引导ACSA任务更准确地选择情感词。

实验结果

研究问题

• RQ1 基于短语结构解析树的图注意力机制能否通过更准确地对齐情感词与目标方面类别，提升方面类别情感分析性能？
• RQ2 一种惩罚不同方面类别间注意力重叠的交互损失函数，能否减少情感预测中的不匹配问题？
• RQ3 SCAN在多个公开ACSA基准上的性能，相较于现有注意力机制与胶囊网络模型表现如何？
• RQ4 从解析树中引入句法结构在多大程度上提升了模型的泛化能力与鲁棒性？
• RQ5 SCAN能否与BERT有效结合，进一步提升方面类别情感分析任务的性能？

主要发现

• SCAN在Rest14-hard、RestLarge-hard和MAMS-ACSA数据集上全面超越所有非BERT基线模型，展现出在单句中检测多重情感极性的优越性能。
• SCAN在MAMS-ACSA数据集上取得75.405的F1分数，超过次佳非BERT模型（As-capsule为75.116），并在全部五个数据集上保持一致提升。
• SCAN-BERT-AVE在MAMS-ACSA数据集上取得最高F1分数80.444，表明当与BERT结合时，模型的成分感知注意力极为有效。
• 消融实验表明，移除交互损失（SCAN-w/o iLoss）平均导致F1分数下降0.577，证实其在提升注意力判别能力方面的重要作用。
• 移除解析树结构（SCAN-w/o tree）平均导致F1分数下降1.756，证明句法结构对准确节点选择至关重要。
• SCAN-BERT性能劣于SCAN-BERT-AVE，表明在BERT微调过程中ACSA用的GAT可能存在训练不足，凸显了更优训练协调机制的必要性。