[论文解读] Recursive Neural Conditional Random Fields for Aspect-based Sentiment Analysis

Wenya Wang, Sinno Jialin Pan+2 more|arXiv (Cornell University)|Mar 22, 2016

Sentiment Analysis and Opinion Mining参考文献 39被引用 57

一句话总结

本文提出递归神经条件随机场（RNCRF），一种联合模型，将递归神经网络（RNN）与条件随机场（CRF）结合，用于从文本中共同抽取显式方面和观点术语。通过利用依存树结构学习高层级、交互式表示，并实现在方面与观点术语之间的双向信息传播，RNCRF 在 SemEval 2014 任务 4 数据集上实现了最先进性能，优于基于规则和特征工程的基线方法，包括赛事优胜系统。

ABSTRACT

In aspect-based sentiment analysis, extracting aspect terms along with the opinions being expressed from user-generated content is one of the most important subtasks. Previous studies have shown that exploiting connections between aspect and opinion terms is promising for this task. In this paper, we propose a novel joint model that integrates recursive neural networks and conditional random fields into a unified framework for explicit aspect and opinion terms co-extraction. The proposed model learns high-level discriminative features and double propagate information between aspect and opinion terms, simultaneously. Moreover, it is flexible to incorporate hand-crafted features into the proposed model to further boost its information extraction performance. Experimental results on the SemEval Challenge 2014 dataset show the superiority of our proposed model over several baseline methods as well as the winning systems of the challenge.

研究动机与目标

• 为解决基于规则和手工特征方法在方面情感分析中的局限性，这些方法严重依赖词性约束和线性特征组合。
• 开发一种联合模型，通过结构化依存句法分析捕捉方面与观点术语之间的高阶交互关系。
• 实现判别性表示的端到端学习，联合优化方面与观点术语抽取。
• 减少对手动特征工程的依赖，通过深度表征学习提升性能。

提出的方法

• 该模型使用基于依存树的递归神经网络（RNN），为每个词学习高层级、上下文感知的表示，捕捉方面与观点术语之间的句法和语义关系。
• 将 RNN 的输出送入条件随机场（CRF）层，以建模标签序列并保留序列标注任务中的长距离依赖。
• 整个模型通过最大似然估计与反向传播进行端到端训练，支持双向信息流：从 CRF 标签流向 RNN 表示。
• 该框架支持集成手工特征，如词性标签、命名实体列表和情感词典，以进一步提升性能。
• 递归结构允许对特征进行非线性变换，捕捉超越简单线性组合的复杂方面-观点关系。
• 模型在方面与观点术语标注任务上进行联合训练，实现相互监督并提升泛化能力。

实验结果

研究问题

• RQ1 结合递归神经网络与 CRF 的联合模型是否能在方面与观点术语共同抽取任务中超越现有的基于规则和特征工程的方法？
• RQ2 递归表示学习在捕捉方面与观点术语之间句法与语义依赖关系方面有多有效？
• RQ3 手工特征（如情感词典和命名实体列表）在多大程度上提升了联合模型的性能？
• RQ4 通过反向传播与联合优化进行端到端训练，是否相比独立训练或线性特征方法具有更好的泛化能力？
• RQ5 该模型在词嵌入维度和输入表示变化下是否具有鲁棒性？

主要发现

• 在餐厅领域，RNCRF 在方面抽取上达到 84.05% 的 F1 值，在观点抽取上达到 80.93%，分别优于最佳基线（CRF + word2vec）1.48% 和 2.10%。
• 在笔记本电脑领域，RNCRF 在方面抽取上达到 76.83% 的 F1 值，在观点抽取上达到 76.76%，在方面抽取上超越 SemEval 2014 赛事优胜系统 3.26%。
• 与基础 RNCRF 模型相比，加入情感词典特征使观点术语 F1 提升 4.10%，表明词典特征具有强信号作用。
• 该模型对词嵌入维度具有鲁棒性，在 25 到 400 的维度范围内表现稳定，餐厅领域在 325 维时达到峰值。
• 整合姓名列表特征在方面抽取中带来最大性能提升，表明其在方面术语识别中具有强判别能力。
• 与标准 LSTM 模型相比，RNCRF 在餐厅和笔记本电脑领域方面抽取上分别提升 2.90% 和 4.10%，显示出其在建模方面-观点关系方面的优越性。