[论文解读] Seeing Things from a Different Angle: Discovering Diverse Perspectives about Claims

Sihao Chen, Daniel Khashabi+3 more|arXiv (Cornell University)|Jun 8, 2019

Topic Modeling参考文献 48被引用 7

一句话总结

本文提出了事实依据视角发现任务，提出了一项新的NLP挑战，旨在识别关于争议性主张的多样化、有证据支持的观点。作者利用在线辩论、搜索增强和众包方式，构建了一个高质量的数据集，包含907个主张、11,164个视角和8,092段证据段落。结果显示，人类表现远超当前最先进模型，凸显了未来NLP研究中的关键挑战。

ABSTRACT

One key consequence of the information revolution is a significant increase and a contamination of our information supply. The practice of fact checking won't suffice to eliminate the biases in text data we observe, as the degree of factuality alone does not determine whether biases exist in the spectrum of opinions visible to us. To better understand controversial issues, one needs to view them from a diverse yet comprehensive set of perspectives. For example, there are many ways to respond to a claim such as "animals should have lawful rights", and these responses form a spectrum of perspectives, each with a stance relative to this claim and, ideally, with evidence supporting it. Inherently, this is a natural language understanding task, and we propose to address it as such. Specifically, we propose the task of substantiated perspective discovery where, given a claim, a system is expected to discover a diverse set of well-corroborated perspectives that take a stance with respect to the claim. Each perspective should be substantiated by evidence paragraphs which summarize pertinent results and facts. We construct PERSPECTRUM, a dataset of claims, perspectives and evidence, making use of online debate websites to create the initial data collection, and augmenting it using search engines in order to expand and diversify our dataset. We use crowd-sourcing to filter out noise and ensure high-quality data. Our dataset contains 1k claims, accompanied with pools of 10k and 8k perspective sentences and evidence paragraphs, respectively. We provide a thorough analysis of the dataset to highlight key underlying language understanding challenges, and show that human baselines across multiple subtasks far outperform ma-chine baselines built upon state-of-the-art NLP techniques. This poses a challenge and opportunity for the NLP community to address.

研究动机与目标

• 通过使系统能够呈现关于争议性主张的多样化、有良好支持的视角，来应对信息检索中的选择性偏差。
• 将事实依据视角发现任务形式化为一项核心NLP挑战，涉及立场检测、视角相关性以及证据定位。
• 构建一个高质量、可扩展的数据集，以捕捉争议性主张的细微视角及其支持性证据。
• 识别当前NLP模型在视角多样性、立场对齐和证据相关性方面难以解决的关键语言理解挑战。

提出的方法

• 使用在线辩论论坛作为种子数据构建 Perspective 数据集，随后通过搜索引擎结果和改写技术扩展，以提升多样性和覆盖范围。
• 利用众包方式过滤噪声、验证视角与立场的一致性，并确认证据的相关性，确保数据质量。
• 设计五个子任务：视角相关性、立场分类、视角等价性、证据抽取以及端到端视角发现。
• 针对每个子任务，使用检索（IR）和基于BERT的模型训练监督基线，并与人工标注的黄金标准进行性能比较。
• 实施严格的质量控制，避免基于内容意图（如攻击性语言）进行过滤，以在保持多样性的同时确保可靠性。
• 聚焦于主张、视角与证据之间的语义关系，忽略来源可信度和事实真实性，以增强方法论的清晰性。

实验结果

研究问题

• RQ1 我们如何系统性地识别出一组既多样化又全面的视角，每个视角都由相关证据支持？
• RQ2 在确定一个视角相对于主张的立场时，以及在识别两个视角是否表达等价思想时，核心NLP挑战是什么？
• RQ3 当前NLP模型（包括BERT）在识别与主张相关的视角和支持性证据方面，能在多大程度上达到人类水平表现？
• RQ4 在识别与给定主张最相关的视角和证据段落方面，基于检索的方法与基于神经网络的方法有何差异？
• RQ5 当前NLP系统在理解复杂、依赖上下文的视角及其在事实证据中的定位时，存在哪些关键瓶颈？

主要发现

• 人类在视角相关性任务上的F1得分为72.5%，显著优于使用IR + BERT的最佳机器基线（50.8% F1）。
• 在立场分类任务中，人类F1得分为90.9%，而最佳模型（BERT）仅为70.8%，表明存在显著的性能差距。
• 对于视角等价性任务，人类F1得分为83.7%，而基于BERT的基线仅为63.7%，表明在语义等价性检测方面存在明显局限。
• 证据抽取任务中，人类表现最佳（60.7% F1），IR + BERT得分为55.7%，IR单独仅为46.8%，凸显了长文本证据匹配的难度。
• 整体系统性能（端到端视角发现）在人工标注下达到40.0% F1，而IR + BERT仅为17.5%，凸显了整体推理能力的差距。
• 尽管使用了最先进模型，所有机器基线在所有子任务中均显著落后于人工标注者，揭示了NLP在理解复杂、多样化视角方面面临的关键挑战。