[论文解读] Recurrent Entity Networks with Delayed Memory Update for Targeted Aspect-based Sentiment Analysis

Fei Liu, Trevor Cohn+1 more|arXiv (Cornell University)|Apr 30, 2018

Sentiment Analysis and Opinion Mining参考文献 14被引用 8

一句话总结

本文提出一种带有延迟记忆更新机制的循环实体网络，以改进目标方面感知情感分析（TABSA），从而更好地追踪长距离依赖关系中的实体-方面对。该模型在不依赖外部知识库的情况下，优于当前最先进方法，通过仅在检测到相关语言线索（如'although'、'best bet'）时动态更新记忆链，实现更优的性能。

ABSTRACT

While neural networks have been shown to achieve impressive results for sentence-level sentiment analysis, targeted aspect-based sentiment analysis (TABSA) --- extraction of fine-grained opinion polarity w.r.t. a pre-defined set of aspects --- remains a difficult task. Motivated by recent advances in memory-augmented models for machine reading, we propose a novel architecture, utilising external "memory chains" with a delayed memory update mechanism to track entities. On a TABSA task, the proposed model demonstrates substantial improvements over state-of-the-art approaches, including those using external knowledge bases.

研究动机与目标

• 为解决在目标方面感知情感分析（TABSA）中追踪多个实体-方面对的挑战，其中情感信号常被延迟且分散于整个句子中。
• 通过建模长距离依赖关系和延迟的情感触发词，提升TABSA性能，而这是标准RNN和记忆网络难以处理的问题。
• 设计一种记忆增强架构，仅在检测到相关语言线索时才选择性地更新实体表征，而非在每个词上都进行更新。
• 证明延迟记忆更新机制能显著提升方面检测与情感分类的准确率，且无需依赖外部知识库。

提出的方法

• 该模型为每个实体维护多条记忆链，每条链包含隐藏状态（h^j）、键（k^j）和延迟向量（d^j），用于追踪特定实体的表征。
• 门控机制通过三个组件控制记忆更新：内容项（w_i · h^{j}_{i-1}）、位置项（w_i · k^j）和延迟项（v · d^{j}_{i}），共同决定何时更新记忆。
• 更新门 g_i^j 通过将这三个项的和输入Sigmoid非线性函数计算得出，实现在句子后半部分出现情感相关短语时的延迟激活。
• 隐藏状态 h^j_i 通过GRU更新，结合前一状态与新输入，并受门控调制，从而在长序列中保持持久的记忆追踪。
• 该模型按顺序处理输入，使其能够捕捉延迟的情感信号（如'although expensive'），这对方面极性预测至关重要。
• 该架构通过交叉熵损失端到端训练，同时优化方面检测与情感分类任务，使用标准划分和评估指标。

实验结果

研究问题

• RQ1 与标准记忆网络相比，延迟记忆更新机制是否能提升目标方面感知情感分析的性能？
• RQ2 该模型延迟记忆更新的能力如何影响其在长距离情感依赖关系上的表现？
• RQ3 仅使用通用嵌入（如GloVe）的模型在多大程度上能超越依赖外部知识库（如SenticNet）的模型？
• RQ4 模型性能对记忆链数量的敏感程度如何？捕捉实体-方面对的最优容量是多少？

主要发现

• 所提模型在方面检测（F1为78.0）与情感分类任务上均达到最先进性能，优于使用外部知识库（如SenticLSTM）的模型。
• 与基线EntNet相比，该模型在具有延迟情感信号的方面（如示例(1)中的'transit-location'）上显著提升了方面检测性能。
• 可视化结果表明，该模型在更长跨度上保持更高的门控激活，从而能正确预测LOC1中'transit-location'的'positive'情感，而EntNet因门控过早关闭而失败。
• 当记忆链数量过少（n=2）时，方面检测F1下降至76.6，表明充足的内存容量对捕捉所有方面至关重要。
• 当n ≥ 5时，方面检测F1稳定在约78.0，表明该模型在具备足够内存容量时性能稳定且具备可扩展性。