[论文解读] The FactChecker: Verifying Text Summaries of Relational Data Sets.

Saehan Jo, Immanuel Trummer+3 more|arXiv (Cornell University)|Apr 20, 2018

Topic Modeling参考文献 25被引用 1

一句话总结

FactChecker 是一种概率性自然语言接口，通过将声明映射到 SQL 查询并利用整体模型评估其正确性，验证关系型数据的文本摘要。它在自动化事实核查中实现了高召回率和高精确率，与通用 SQL 工具相比，验证时间减少六倍。

ABSTRACT

We present a novel natural language query interface, the FactChecker, aimed at text summaries of relational data sets. The tool focuses on natural language claims that translate into an SQL query and a claimed query result. Similar in spirit to a spell checker, the FactChecker marks up text passages that seem to be inconsistent with the actual data. At the heart of the system is a probabilistic model that reasons about the input document in a holistic fashion. Based on claim keywords and the document structure, it maps each text claim to a probability distribution over associated query translations. By efficiently executing tens to hundreds of thousands of candidate translations for a typical input document, the system maps text claims to correctness probabilities. This process becomes practical via a specialized processing backend, avoiding redundant work via query merging and result caching. Verification is an interactive process in which users are shown tentative results, enabling them to take corrective actions if necessary. Our system was tested on a set of 53 public articles containing 392 claims. Our test cases include articles from major newspapers, summaries of survey results, and Wikipedia articles. Our tool revealed erroneous claims in roughly a third of test cases. A detailed user study shows that users using our tool are in average six times faster at checking text summaries, compared to generic SQL interfaces. In fully automated verification, our tool achieves significantly higher recall and precision than baselines from the areas of natural language query interfaces and fact checking.

研究动机与目标

• 为应对从关系型数据库派生的文本摘要自动化验证日益增长的需求。
• 检测关于数据的自然语言声明中的事实不一致，类似于数据准确性的拼写检查器。
• 与传统 SQL 接口相比，提高验证声明的效率和准确性。
• 开发一个可扩展的系统，能够高效处理数万个候选查询转换。
• 支持交互式事实核查，用户可根据实时反馈更正或优化声明。

提出的方法

• 该系统利用声明关键词和文档结构，将每个文本声明映射到可能的 SQL 查询转换的概率分布。
• 其专用后端合并冗余查询并缓存结果，以避免重复计算。
• 概率模型对声明进行整体评估，基于整个文档上下文推理以判断其正确性。
• 系统支持交互式验证，显示暂定结果并允许用户更正。
• 通过查询合并和结果缓存，高效扩展至数十万项候选转换。
• 该方法结合自然语言理解与数据库查询执行，将声明与实际数据进行验证。

实验结果

研究问题

• RQ1 系统能否自动验证关于关系型数据摘要的自然语言声明的事实准确性？
• RQ2 FactChecker 在验证速度方面与通用 SQL 接口相比表现如何？
• RQ3 该系统在真实世界数据摘要中检测错误声明的召回率和精确率是多少？
• RQ4 概率建模在复杂文档中提升声明到 SQL 映射可靠性的程度如何？
• RQ5 该系统在识别不同类型数据摘要中的事实不一致方面效果如何？

主要发现

• FactChecker 在包含 392 个声明的 53 篇测试文章中，约有三分之一发现了错误声明。
• 根据用户研究，用户使用 FactChecker 验证文本摘要的速度比使用通用 SQL 接口快六倍。
• 在完全自动化的验证中，FactChecker 在自然语言查询接口和事实核查系统中，显著优于现有基线的召回率和精确率。
• 通过查询合并和结果缓存，系统高效处理了数万至数十万项候选查询转换。
• 概率模型在多种数据摘要类型中表现出强健性，包括新闻文章、调查摘要和维基百科条目。
• 交互式验证使用户能够有效更正声明，显著提升了准确性和可用性。