[论文解读] Open Domain Suggestion Mining: Problem Definition and Datasets

Sapna Negi, Maarten de Rijke+1 more|arXiv (Cornell University)|Jun 6, 2018

Sentiment Analysis and Opinion Mining参考文献 17被引用 21

一句话总结

本文提出了一个正式的、上下文相关的开放领域建议挖掘定义，并引入一种结合普通用户与专家标注者的两阶段标注方法，以创建公开可用的基准数据集。主要贡献在于提出了一套新框架，通过结构化的标注流程和发布的数据集，实证验证了在旅游、电子消费品和软件等多样化领域中识别建议的可行性，显著提升了标注的一致性并减少了歧义。

ABSTRACT

We propose a formal definition for the task of suggestion mining in the context of a wide range of open domain applications. Human perception of the term \emph{suggestion} is subjective and this effects the preparation of hand labeled datasets for the task of suggestion mining. Existing work either lacks a formal problem definition and annotation procedure, or provides domain and application specific definitions. Moreover, many previously used manually labeled datasets remain proprietary. We first present an annotation study, and based on our observations propose a formal task definition and annotation procedure for creating benchmark datasets for suggestion mining. With this study, we also provide publicly available labeled datasets for suggestion mining in multiple domains.

研究动机与目标

• 为解决当前建议挖掘缺乏正式的开放领域定义，而依赖模糊、应用特定的解释这一问题。
• 通过研究普通用户对术语“建议”的理解及其语言表达，解决现有数据集中的不一致性。
• 设计一种可扩展、可靠的标注流程，结合众包与专家标注者，以创建具有高标注者间一致性的基准数据集。
• 公开发布可用于建议挖掘研究的、涵盖多个领域的多样化数据集，以支持可复现的研究与模型开发。

提出的方法

• 通过普通用户标注者开展感知研究，以理解非专业人士在不同语境下对术语“建议”的理解方式。
• 基于语言线索和上下文，提出四类分类：明确建议、隐含建议、明确非建议和隐含非建议。
• 采用两阶段标注流程：第一阶段使用众包标注者对句子级上下文进行标注；第二阶段使用无上下文的专家标注者以减少偏差。
• 仅保留两阶段均被标记为建议的句子作为正样本，确保高可靠性和一致性。
• 将该方法应用于从不同来源构建基准数据集：TripAdvisor（酒店）、Amazon（电子产品）、Uservoice（软件）、Fodors/InsightVacations（旅游）以及微软推文。
• 报告了各数据集的标注者间一致性评分（Cohen’s kappa），范围为0.72至1.0，其中微软推文数据集达到1.0，归因于完整推文上下文和标签的清晰性。

实验结果

研究问题

• RQ1 普通人在开放领域语境中如何理解术语“建议”？
• RQ2 能否从实证标注研究中推导出一种正式的、上下文感知的建议定义？
• RQ3 如何设计一种可靠且可扩展的标注流程，以最小化主观性并最大化建议挖掘数据集的一致性？
• RQ4 在非结构化文本中，区分建议与非建议的语言和上下文特征是什么？

主要发现

• 研究发现，普通人将“建议”与建议、推荐、提示和警告等概念关联，但这些表达常出现在非建议性语境中，导致歧义。
• 所提出的四类框架（明确/隐含建议与非建议）有效捕捉了建议感知的细微差别，并提升了标注一致性。
• 两阶段标注方法显著提升了数据集质量，酒店数据集的标注者间一致性达到0.86，微软推文数据集达到1.0，表明其高度可靠性。
• 发布的数据集涵盖五个领域，公开发布于CC BY-NC-SA 4.0许可下，支持建议挖掘领域的可复现研究。
• 微软推文数据集实现了100%的标注者间一致性，归因于完整推文上下文和标签的使用降低了歧义。
• 该方法成功对现有数据集进行了重新标注与验证，包括旅游论坛（kappa = 0.76）和微软推文，证实了该方法的稳健性。