[论文解读] Multi-task memory networks for category-specific aspect and opinion terms co-extraction

Wenya Wang, Sinno Jialin Pan+1 more|arXiv (Cornell University)|Feb 6, 2017

Sentiment Analysis and Opinion Mining参考文献 17被引用 17

一句话总结

本文提出了一种多任务记忆网络（MTMN），用于端到端的、特定类别的情感方面与观点词联合抽取，通过联合学习多个情感类别中的方面词/观点词识别与分类。通过利用共享记忆表征、张量分解和辅助任务学习，MTMN在三个基准数据集上取得了当前最优性能，显著提升了先前方法的抽取准确率。

ABSTRACT

In aspect-based sentiment analysis, most existing methods either focus on aspect/opinion terms extraction or aspect terms categorization. However, each task by itself only provides partial information to end users. To generate more detailed and structured opinion analysis, we propose a finer-grained problem, which we call category-specific aspect and opinion terms extraction. This problem involves the identification of aspect and opinion terms within each sentence, as well as the categorization of the identified terms. To this end, we propose an end-to-end multi-task attention model, where each task corresponds to aspect/opinion terms extraction for a specific category. Our model benefits from exploring the commonalities and relationships among different tasks to address the data sparsity issue. We demonstrate its state-of-the-art performance on three benchmark datasets.

研究动机与目标

• 为解决现有方法要么仅抽取方面/观点词而不进行分类，要么对已预提取的词进行分类的局限性，本研究提出了一项更细粒度的任务：同时抽取并分类方面词与观点词。
• 通过利用共享表征联合学习多个特定类别的任务，以克服低资源类别中的数据稀疏问题。
• 通过多任务深度学习框架建模类别间的共性与差异，提升预测准确率。
• 实现端到端学习，通过共享类别信息连接方面词与观点词，增强细粒度情感分析能力。

提出的方法

• 该模型将每个预定义类别的方面词与观点词抽取视为独立任务，从而在所有类别间实现多任务学习。
• 在每个任务特定的记忆网络中采用双标签传播机制，利用基于注意力的上下文建模，联合抽取方面词与观点词。
• 在任务间应用张量分解，以共享参数并建模标记间交互的共性，降低低资源类别中的过拟合风险。
• 通过上下文感知注意力机制实现特征共享，自适应地聚合句子中相关标记的信息。
• 引入辅助任务，通过重复类别信息来强制实现句子级一致性，从而提升词级别预测性能。
• 整个架构通过联合损失函数进行端到端训练，同时优化序列标注与类别分类任务。

实验结果

研究问题

• RQ1 多任务深度学习模型能否有效实现方面词与观点词的联合抽取，同时将它们分配到预定义类别？
• RQ2 在训练数据稀疏的低资源设置下，跨多个类别的联合学习如何提升性能？
• RQ3 张量共享、特征共享与辅助任务学习对模型性能的相对贡献分别是什么？
• RQ4 模型能否学习到与人类标注的方面词与观点词对齐的有意义注意力模式，涵盖多种类别？

主要发现

• MTMN在三个基准数据集上达到最先进性能，S2数据集上方面词分类（ASC）F1为65.34%，观点词分类（OPC）F1为61.44%。
• 消融实验表明，张量共享（C1）的贡献大于特征共享（C2），表明任务间共享的交互模式比共享特征表示更具优势。
• 引入辅助任务（C3）后，与独立训练相比，S1数据集上ASC F1提升2.49%，S2数据集上提升4.05%，证明了句子级一致性的价值。
• 该模型能有效学习到与正确方面词与观点词对齐的注意力分数，涵盖多个类别，包括属于多个类别的情况。
• 敏感性分析显示，不同分解维度（m）下性能稳定，结果在一系列m值范围内保持一致。