[论文解读] Target-Dependent Sentiment Classification with Long Short Term Memory.

Duyu Tang, Bing Qin+2 more|arXiv (Cornell University)|Dec 3, 2015

Topic Modeling参考文献 20被引用 105

一句话总结

本文提出两种目标依赖的长短期记忆（LSTM）模型，通过在序列建模中显式引入目标词信息，以提升情感分类性能。通过动态捕捉目标与其上下文之间的语义关系，该模型在无需依赖句法解析器或外部情感词典的情况下，在Twitter基准数据集上实现了最先进性能。

ABSTRACT

Target-dependent sentiment classification remains a challenge: modeling the semantic relatedness of a target with its context words in a sentence. Different context words have different influences on determining the sentiment polarity of a sentence towards the target. Therefore, it is desirable to integrate the connections between target word and context words when building a learning system. In this paper, we develop two target dependent long short-term memory (LSTM) models, where target information is automatically taken into account. We evaluate our methods on a benchmark dataset from Twitter. Empirical results show that modeling sentence representation with standard LSTM does not perform well. Incorporating target information into LSTM can significantly boost the classification accuracy. The target-dependent LSTM models achieve state-of-the-art performances without using syntactic parser or external sentiment lexicons.

研究动机与目标

• 解决目标依赖情感分类的挑战，即情感极性取决于目标与其上下文之间的关系。
• 克服标准LSTM模型在有效建模目标与上下文词语之间语义相关性方面的局限性。
• 设计一种神经网络架构，可在序列编码过程中自动整合目标信息，以增强情感预测性能。
• 在无需使用句法解析器或情感词典的情况下，在基准Twitter数据集上实现最先进性能。
• 证明建模目标-上下文交互可提升分类准确率，优于标准LSTM方法。

提出的方法

• 设计两种目标依赖LSTM模型变体，将目标词表示集成到LSTM单元的输入门和细胞状态中。
• 使用可学习的目标表示，并在序列处理过程中动态地将其与上下文词语嵌入相结合。
• 采用双向LSTM以捕捉相对于目标的前后方向上的长距离依赖关系。
• 使用交叉熵损失函数进行端到端训练，以实现多分类情感分类。
• 以词嵌入作为输入特征，并引入针对目标的注意力机制，以突出相关上下文词语。
• 使用随机梯度下降结合时间反向传播进行参数更新，以优化模型。

实验结果

研究问题

• RQ1 标准LSTM模型能否有效捕捉目标与上下文之间的语义关系以实现情感分类？
• RQ2 将目标信息显式整合到LSTM架构中，对分类性能有何影响？
• RQ3 在不依赖外部资源（如情感词典或句法解析器）的情况下，目标依赖LSTM模型在多大程度上可实现最先进性能？
• RQ4 建模目标-上下文交互对情感极性预测准确率有何影响？
• RQ5 在性能和架构简洁性方面，所提出的模型与现有方法相比如何？

主要发现

• 标准LSTM模型在目标依赖情感分类任务中表现较差，原因在于对目标-上下文语义关系的建模不足。
• 将目标信息整合到LSTM架构中，可显著提升在Twitter基准数据集上的分类准确率。
• 所提出的基于目标依赖的LSTM模型在不使用句法解析器或外部情感词典的情况下，实现了最先进性能。
• 模型表明，显式建模目标-上下文交互可带来比通用序列建模更准确的情感预测。
• 性能提升归因于模型能够根据上下文词语与目标的相关性动态调整其权重。
• 结果验证了端到端学习中目标感知LSTM单元在捕捉细微情感表达方面的有效性。