[论文解读] Schema2QA: High-Quality and Low-Cost Q&A Agents for the Structured Web

Silei Xu, Giovanni Campagna+2 more|arXiv (Cornell University)|Jan 16, 2020

Topic Modeling参考文献 41被引用 9

一句话总结

Schema2QA 是一个开源工具包，仅需数据库模式和少量字段注释，即可使开发人员构建出高准确率、低成本的结构化网络数据问答代理。通过从通用模板合成数千个复合问题，并在合成数据和改写数据上微调 BERT-LSTM 模型，该工具在五个 Schema.org 领域的众包问题上实现了 64–75% 的准确率，优于商业助手在复杂、长尾查询上的表现。

ABSTRACT

Building a question-answering agent currently requires large annotated datasets, which are prohibitively expensive. This paper proposes Schema2QA, an open-source toolkit that can generate a Q&A system from a database schema augmented with a few annotations for each field. The key concept is to cover the space of possible compound queries on the database with a large number of in-domain questions synthesized with the help of a corpus of generic query templates. The synthesized data and a small paraphrase set are used to train a novel neural network based on the BERT pretrained model. We use Schema2QA to generate Q&A systems for five Schema.org domains, restaurants, people, movies, books and music, and obtain an overall accuracy between 64% and 75% on crowdsourced questions for these domains. Once annotations and paraphrases are obtained for a Schema.org schema, no additional manual effort is needed to create a Q&A agent for any website that uses the same schema. Furthermore, we demonstrate that learning can be transferred from the restaurant to the hotel domain, obtaining a 64% accuracy on crowdsourced questions with no manual effort. Schema2QA achieves an accuracy of 60% on popular restaurant questions that can be answered using Schema.org. Its performance is comparable to Google Assistant, 7% lower than Siri, and 15% higher than Alexa. It outperforms all these assistants by at least 18% on more complex, long-tail questions.

研究动机与目标

• 通过最小化人工标注，降低问答代理训练数据的高昂成本。
• 使开发人员能够仅使用标准化模式，无需真实用户数据，为任意网站构建高准确率的问答代理。
• 证明神经网络模型可通过合成数据和迁移学习在不同领域间实现良好泛化。
• 创建一个开放、可扩展的流水线，用于构建支持语音、基于模式的虚拟助手。
• 在无需专有数据的情况下，实现与商业助手在复杂、长尾问题上相当的性能。

提出的方法

• 系统使用一组通用自然语言模板，从数据库模式中合成大规模复合问题语料。
• 每个数据库字段均标注其类型和若干代表性短语，以指导问题生成。
• 在合成问题和少量人工改写问题的组合数据上，对 BERT-LSTM 神经模型进行微调。
• 该模型将自然语言问题映射为可执行的 ThingTalk 查询，支持复杂、多谓词的推理。
• NL-schema Builder 工具可将 Schema.org 模式映射为 Schema2QA 格式，实现无缝集成。
• 从餐厅领域到酒店领域的迁移学习无需额外人工标注。

实验结果

研究问题

• RQ1 仅使用合成数据和最少的模式注释，神经模型能否在问答任务中实现高准确率？
• RQ2 通用问题模板能否有效覆盖真实问答所需复合查询的全部空间？
• RQ3 迁移学习在多大程度上可减少新领域中人工数据收集的需求？
• RQ4 在复杂、长尾问题上，性能与商业虚拟助手相比如何？
• RQ5 将通用组件与领域特定组件分离，能否在保持高准确率的同时降低标注负担？

主要发现

• Schema2QA 在五个 Schema.org 领域（餐厅、人物、电影、书籍、音乐）的众包问题上实现了 64–75% 的准确率。
• 在复杂、长尾问题上，Schema2QA 比 Alexa 高出 18%，比 Google 助手高出 18%，比 Siri 高出 18%。
• 在常见餐厅问题上，Schema2QA 的准确率与 Google 助手持平，且比 Siri 的表现仅低 7%。
• 当问题限定于已知属性时，餐厅领域的查询准确率可达 69.7%，而在开放性问题上下降至 59.8%。
• 错误分析表明，若改进命名实体识别并增加更多通用模板，准确率可从 70% 提升至约 90%。
• 从餐厅领域迁移学习至酒店领域，仅使用零人工数据收集，准确率即达 64%。