[论文解读] One-shot Learning for Question-Answering in Gaokao History Challenge

Zhuosheng Zhang, Hai Zhao|arXiv (Cornell University)|Jun 24, 2018

Topic Modeling参考文献 46被引用 32

一句话总结

本文提出一种基于神经图灵机（NTM）作为自动标注器的少样本学习框架，以增强合作门控神经网络（CGNN），实现对中文高考历史试题的少样本问答任务。该模型通过在极少量标注数据下有效捕捉长而复杂的答案语义表征，显著优于神经网络基线模型。

ABSTRACT

Answering questions from university admission exams (Gaokao in Chinese) is a challenging AI task since it requires effective representation to capture complicated semantic relations between questions and answers. In this work, we propose a hybrid neural model for deep question-answering task from history examinations. Our model employs a cooperative gated neural network to retrieve answers with the assistance of extra labels given by a neural turing machine labeler. Empirical study shows that the labeler works well with only a small training dataset and the gated mechanism is good at fetching the semantic representation of lengthy answers. Experiments on question answering demonstrate the proposed model obtains substantial performance gains over various neural model baselines in terms of multiple evaluation metrics.

研究动机与目标

• 解决高考历史试题中少样本、综合性问答任务的挑战，其中标注训练数据极为有限。
• 克服传统神经网络在复杂、非结构化答案生成任务中对大规模标注数据的依赖。
• 为现实中标注稀缺的教育问答任务，开发一种适用于弱监督学习的策略。
• 通过引入外部记忆机制，使深度神经网络能够从极少监督信号中学习丰富的语义表征。
• 建立基于非结构化教材式知识源的开放域、非事实性、综合性问答新基准。

提出的方法

• 采用合作门控神经网络（CGNN）对问题和候选答案进行联合编码，实现语义匹配。
• 将神经图灵机（NTM）作为标注器，仅利用少量标注样例为候选答案生成伪标签。
• 利用NTM的可微分外部记忆存储并检索相关知识，实现在极小监督下的少样本学习。
• 使用NTM生成的伪标签数据训练CGNN，在真实标注数据有限的情况下提升泛化能力。
• 借助NTM读写记忆的能力，模拟人类在教材类文本中的推理与知识检索过程。
• 结合未标注教材段落的无监督表征学习与基于NTM标注器的弱监督学习，增强模型泛化性能。

实验结果

研究问题

• RQ1 在标注数据极少的情况下，少样本学习方法能否有效提升高考历史问答任务的性能？
• RQ2 在低资源环境下，神经图灵机（NTM）作为自动标注器，在生成高质量答案表征方面效果如何？
• RQ3 与标准神经网络相比，合作门控神经网络（CGNN）是否能更有效地捕捉长而复杂答案中的语义关系？
• RQ4 基于NTM的标注器集成是否能显著提升深度问答模型在少样本场景下的性能？
• RQ5 在综合性问答任务中，弱监督学习在极少量标注数据下，能否显著优于传统检索方法或完全监督方法？

主要发现

• 所提出的结合NTM标注器的模型在多个评估指标上显著优于多种神经网络基线模型。
• NTM标注器仅依赖少量标注样例即可有效生成高质量伪标签，展现出在低资源环境下的强大泛化能力。
• 合作门控神经网络（CGNN）通过有效建模长答案文本中的复杂语义关系，优于BM25及其他神经基线模型。
• NTM标注器的集成显著提升了所有深度神经网络模型的性能，证实其在弱监督学习中的有效性。
• 该模型成功应对需要深度推理与从非结构化教材源中整合知识的综合性、非事实性问题。
• 本研究构建了一个新的中文综合性问答数据集，用于高考历史考试，为未来在少样本、开放域及推理密集型问答任务的研究提供支持。