[论文解读] Studio Ousia's Quiz Bowl Question Answering System

Ikuya Yamada, Ryuji Tamaki+2 more|arXiv (Cornell University)|Mar 23, 2018

Topic Modeling被引用 4

一句话总结

本论文介绍了 Studio Ousia 在 NIPS 2017 HCQA 竞赛中的获奖系统，该系统采用混合方法，结合了两种新颖的神经网络模型——神经问答求解器（Neural Quiz Solver）与神经类型预测器（Neural Type Predictor），并融合传统信息检索模型，所有组件通过一个监督式机器学习答案评分器进行集成。该系统在完整问答竞赛题上实现了 97% 的准确率，以 425 分大幅击败六名顶尖人类问答专家，后者得分为 200 分。

ABSTRACT

In this chapter, we describe our question answering system, which was the winning system at the Human-Computer Question Answering (HCQA) Competition at the Thirty-first Annual Conference on Neural Information Processing Systems (NIPS). The competition requires participants to address a factoid question answering task referred to as quiz bowl. To address this task, we use two novel neural network models and combine these models with conventional information retrieval models using a supervised machine learning model. Our system achieved the best performance among the systems submitted in the competition and won a match against six top human quiz experts by a wide margin.

研究动机与目标

• 开发一种在 NIPS 2017 HCQA 竞赛中针对事实类问答竞赛任务的高准确率问答系统。
• 解决在问题逐字揭示过程中实时预测答案的挑战，要求早期且准确地预测实体。
• 通过监督式集成模型，将神经网络模型与传统信息检索技术相结合，以提升性能。
• 在真实、符合规则的问答竞赛环境中，超越竞争系统与精英人类问答选手的表现。

提出的方法

• 神经问答求解器将问答任务建模为文本分类任务，使用词向量与实体嵌入的平均值作为输入，以预测正确的维基百科实体答案。
• 神经类型预测器使用卷积神经网络（CNN）预测答案的粗粒度与细粒度实体类型（例如：人物、作者），以增强答案的相关性。
• 基于监督式机器学习的答案评分器结合了两个神经模型以及传统信息检索模型（使用维基百科与 Freebase）的特征，对候选答案进行排序。
• 系统采用动态答案触发机制：仅当最高候选答案的相关性得分超过 0.6 且问题包含至少 15 个词时，才输出答案，以避免短问题中的不稳定性。
• 最终模型在包含 101,043 个问题-答案对的精选数据集上进行训练，该数据集结合了 Protobowl 与 Iyyer 等人的数据集，并在答案映射至维基百科标题后进行处理。
• 模型训练采用在 10% 开发集上的早停策略，所有组件在集成框架内联合优化。

实验结果

研究问题

• RQ1 混合神经网络与基于检索的系统是否能在问答竞赛任务中实现最先进性能，其中答案需随着问题逐字揭示而逐步预测？
• RQ2 联合编码词与维基百科实体的神经模型在提升事实类问题答案准确率方面有多有效？
• RQ3 在低资源、增量式问答设置中，预测实体类型（粗粒度与细粒度）在多大程度上能改善答案选择？
• RQ4 结合神经网络与传统信息检索模型的机器学习集成模型，是否能在真实问答竞赛中超越独立的神经模型与人类专家？

主要发现

• 该系统在完整问答竞赛题上实现了 97% 的准确率，表明其在复杂、多句线索下的强大性能。
• 仅使用第一句话时，系统准确率为 56%，在三句话后提升至 88%，显示出强大的增量学习能力。
• 信息检索模型的集成（尤其是基于维基百科的检索）显著提升了性能，尤其在短问题中表现突出，结合神经特征后准确率从 89% 提升至 95%。
• 神经类型预测器在完整问题上的粗粒度实体类型预测准确率超过 95%，而细粒度模型在 Precision@1 上表现良好，但 F1 值较低，原因在于多类型预测的挑战。
• 在模拟的配对比赛中，系统对阵 Acelove 得分 1220 分（对手 60 分），对阵 Lunit.io 得分 1145 分（对手 105 分），展现出决定性的性能优势。
• 在 NIPS 2017 工作坊的现场比赛中，系统击败由六名精英人类问答专家组成的团队，获得 425 分，而人类团队得分为 200 分，证实了其在真实场景下的优越性。