[论文解读] Supervised Opinion Aspect Extraction by Exploiting Past Extraction Results

Lei Shu, Bing Liu+2 more|arXiv (Cornell University)|Dec 23, 2016

Sentiment Analysis and Opinion Mining参考文献 32被引用 6

一句话总结

该论文提出 Lifelong-CRF，一种新颖方法，通过利用过去领域中提取出的可靠方面作为先验知识，借助条件随机场（CRF）提升监督式观点方面抽取性能。通过挖掘多个领域中频繁出现的方面，并将其编码为基于依存关系的特征，Lifelong-CRF 在跨领域设置下将 F1 分数显著提升 6.2 个百分点（从 64.3 提升至 70.5），优于标准 CRF 和 CRF+R（后者将过去方面视为字典而未进行模型整合）。

ABSTRACT

One of the key tasks of sentiment analysis of product reviews is to extract product aspects or features that users have expressed opinions on. In this work, we focus on using supervised sequence labeling as the base approach to performing the task. Although several extraction methods using sequence labeling methods such as Conditional Random Fields (CRF) and Hidden Markov Models (HMM) have been proposed, we show that this supervised approach can be significantly improved by exploiting the idea of concept sharing across multiple domains. For example, "screen" is an aspect in iPhone, but not only iPhone has a screen, many electronic devices have screens too. When "screen" appears in a review of a new domain (or product), it is likely to be an aspect too. Knowing this information enables us to do much better extraction in the new domain. This paper proposes a novel extraction method exploiting this idea in the context of supervised sequence labeling. Experimental results show that it produces markedly better results than without using the past information.

研究动机与目标

• 在标注数据稀缺的低资源或跨领域设置下，提升监督式观点方面抽取性能。
• 解决标准 CRF 模型无法利用先前处理领域知识的局限性。
• 探究是否可系统性地重用过去抽取结果以提升未来方面抽取性能。
• 开发一种用于观点挖掘中序列标注的终身学习框架，实现在不同领域间保留并应用知识。
• 评估通过特征工程整合过去知识是否优于简单的字典式集成。

提出的方法

• 该方法采用两阶段流程：首先在标注数据上训练 CRF 模型，随后从过往抽取结果中累积终身知识。
• 将至少在 λ=2 个过去领域中出现的方面识别为可靠方面，形成知识集 K 以指导未来学习。
• 不修改已训练的 CRF 模型 M，而是通过 K 提取的依存模式与新文本中的句法关系，增强 CRF 的特征表示。
• 依存模式源自测试句的依存解析，并与 K 结合，生成用于 CRF 推断的丰富特征向量。
• 随着新领域被处理，系统动态扩展 K，实现跨领域持续性能提升。
• 该方法在终身机器学习的理论框架下建立，即利用过去任务的先验知识提升新任务的性能。

实验结果

研究问题

• RQ1 是否可利用来自多个领域的过去抽取结果，以提升在新未见领域中的方面抽取性能？
• RQ2 将跨领域频繁出现的方面知识进行集成，是否能带来优于标准 CRF 的性能表现？
• RQ3 通过特征工程整合过去知识，是否比将其视为简单字典更有效？
• RQ4 所提方法在域内与跨域设置下的性能表现有何差异？
• RQ5 利用过去知识生成的基于依存关系的模式，对 CRF 标注准确率有何影响？

主要发现

• 在跨领域设置下，Lifelong-CRF 的平均 F1 分数达到 70.5，显著优于标准 CRF 的 64.3，提升 6.2 个百分点。
• 性能提升主要源于更高的召回率，表明在新领域中对真实方面的检测能力更强。
• CRF+R（将可靠方面集 K 视为字典）表现较差，因精确率较低，表明简单字典集成方式无效。
• 在域内设置下，性能提升较小（F1：70.5 vs. 64.3），符合预期，因许多方面已在训练数据中出现。
• 结果证实，通过依存模式实现的特征级知识集成，优于直接的字典查找。
• 该方法成功实现了观点抽取中监督序列标注的终身学习，是该领域首个此类方法。