[论文解读] Open Domain Question Answering over Virtual Documents: A Unified Approach for Data and Text.

Kaixin Ma, Hao Cheng+3 more|arXiv (Cornell University)|Oct 16, 2021

Topic Modeling参考文献 43被引用 4

一句话总结

本文提出 UDT-QA，一种统一的开放域问答框架，通过整合可表述的维基百科表格和 Wikidata 三元组作为增强的知识源。通过利用文本生成技术增强检索与推理，UDT-QA 在 Natural Questions 数据集上实现了最先进性能，相较于仅使用文本的基线模型表现出显著提升，尤其在结构化知识推理方面优势明显。

ABSTRACT

Due to its potential for a universal interface over both data and text, data-to-text generation is becoming increasingly popular recently. However, few previous work has focused on its application to downstream tasks, e.g. using the converted data for grounding or reasoning. In this work, we aim to bridge this gap and use the data-to-text method as a means for encoding structured knowledge for knowledge-intensive applications, i.e. open-domain question answering (QA). Specifically, we propose a verbalizer-retriever-reader framework for open-domain QA over data and text where verbalized tables from Wikipedia and triples from Wikidata are used as augmented knowledge sources. We show that our Unified Data and Text QA, UDT-QA, can effectively benefit from the expanded knowledge index, leading to large gains over text-only baselines. Notably, our approach sets the single-model state-of-the-art on Natural Questions. Furthermore, our analyses indicate that verbalized knowledge is preferred for answer reasoning for both adapted and hot-swap settings.

研究动机与目标

• 弥合在下游知识密集型任务（如开放域问答）中利用数据到文本生成技术的空白。
• 将维基百科表格和 Wikidata 三元组中的结构化知识整合进统一的问答框架，以提升推理与定位能力。
• 开发一种可表述化-检索-阅读架构，将数据与文本统一视为知识源，以提升问答性能。
• 评估在适配与热插拔设置下，可表述化知识在推理与检索中的有效性。
• 通过统一的数据与文本知识编码，在 Natural Questions 基准上建立新的单模型最先进水平。

提出的方法

• 使用表述化模块将维基百科表格和 Wikidata 三元组中的结构化知识转换为自然语言文本，用于索引。
• 采用检索模块从文本与可表述化数据的统一索引中检索相关可表述化知识段落。
• 应用阅读模型基于检索到的段落生成答案，实现在文本与结构化数据上的端到端推理。
• 构建一个统一的知识索引，将原始文本与表格及三元组的数据到文本生成描述相结合。
• 设计一种支持适配与热插拔设置的框架，实现在推理过程中灵活集成可表述化知识。
• 利用检索增强生成技术，通过在文本与结构化知识源上进行定位，增强答案生成。

实验结果

研究问题

• RQ1 当与文本知识结合时，数据到文本生成的知识是否能提升开放域问答性能？
• RQ2 与仅使用文本的基线相比，引入可表述化表格与 Wikidata 三元组对检索与答案生成性能有何影响？
• RQ3 可表述化知识在不同问答设置（包括适配与热插拔配置）中是否均能提供一致优势？
• RQ4 统一的数据与文本知识索引在开放域问答中对结构化事实的推理能力提升程度如何？
• RQ5 单模型方法能否通过这种统一的知识编码方式，在 Natural Questions 等基准问答数据集上实现最先进性能？

主要发现

• UDT-QA 通过整合可表述化维基百科表格与 Wikidata 三元组，在 Natural Questions 基准上实现了新的单模型最先进水平。
• 该模型相较于仅使用文本的基线表现出显著性能提升，表明扩展知识索引可显著提高问答准确率。
• 在适配与热插拔设置中，可表述化知识在答案推理中均表现更优，表明其在不同配置下具备鲁棒性与泛化能力。
• 数据与文本的统一索引显著提升了检索与定位效率，尤其在复杂结构化事实推理任务中表现突出。
• 表述化-检索-阅读框架有效利用了两种模态，表明将数据到文本生成作为知识编码策略可增强下游问答性能。
• 结果证实，当结构化知识经过恰当表述与索引后，能对开放域问答中的答案生成与推理产生实质性贡献。