[论文解读] Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks
本文提出了一种基于目标依赖的图注意力网络（TD-GAT），通过使用句法依存图而非词序列来建模方面级情感分类。通过在依存关系上传播情感特征，TD-GAT 在性能上优于基于序列的模型，尤其在结合 BERT 嵌入时表现更优，同时相比直接微调 BERT，仍保持轻量化和高效性。
Aspect level sentiment classification aims to identify the sentiment expressed towards an aspect given a context sentence. Previous neural network based methods largely ignore the syntax structure in one sentence. In this paper, we propose a novel target-dependent graph attention network (TD-GAT) for aspect level sentiment classification, which explicitly utilizes the dependency relationship among words. Using the dependency graph, it propagates sentiment features directly from the syntactic context of an aspect target. In our experiments, we show our method outperforms multiple baselines with GloVe embeddings. We also demonstrate that using BERT representations further substantially boosts the performance.
研究动机与目标
- 解决基于序列的神经网络在捕捉方面级情感分类中句法关系方面的局限性。
- 通过显式建模方面目标与情感承载词之间的依存结构，提升情感分类准确率。
- 通过轻量级图模型适配 BERT 表示，相比微调 BERT，显著降低计算成本。
- 证明句法结构在句法歧义或长距离情感依赖场景下可提升模型性能。
提出的方法
- 模型从输入句子构建依存图，其中词语为节点，句法关系为边。
- 多层图注意力网络（GAT）通过依存邻居向方面目标节点传播情感特征。
- 目标依赖注意力机制在信息传递过程中聚焦于相关句法邻居，增强方面特定表示。
- 在各层中集成 LSTM 单元，以在递归邻域扩展过程中捕捉层次化方面相关特征。
- 模型同时使用 GloVe 嵌入和 BERT 表示作为输入，对 BERT 输入通过线性投影层进行处理。
- 通过池化后的方面目标节点表示，使用 Softmax 层执行最终分类。
实验结果
研究问题
- RQ1建模句法依存结构是否能超越基于序列的模型，提升方面级情感分类性能？
- RQ2在依存图上使用图注意力机制对方面情感分类性能有何影响？
- RQ3将 BERT 表示融入轻量级图模型是否能超越标准 BERT 微调和基线神经网络？
- RQ4在使用不同词嵌入时，模型对深度（层数）变化的鲁棒性如何？
- RQ5与完整 BERT 微调相比，该模型能否在显著减小模型规模和训练时间的同时保持高性能？
主要发现
- TD-GAT-GloVe 在 SemEval 2014 笔记本和餐厅数据集上均优于多个强基线模型，在餐厅数据集上达到 82.9% 的 F1 值。
- TD-GAT-BERT 在餐厅数据集上达到 83.0% 的 F1 值，实现当前最优性能，显著优于其他方法。
- 使用 GloVe 时，模型在 3 层或以上深度达到最优性能；而 BERT 基模型即使仅使用 1 层也保持高效。
- TD-GAT-BERT 模型参数量仅为 149 万，远小于完整 BERT-CLS 模型的 335.14 百万参数。
- TD-GAT-BERT 每轮训练时间仅 1.15 秒，远低于微调 BERT 的 226.50 秒，展现出显著的效率优势。
- 消融实验表明，显式的目标信息和基于图的消息传递机制对性能至关重要，尤其在解决句法歧义方面。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。