[论文解读] Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks

Jason Weston, Antoine Bordes+5 more|arXiv (Cornell University)|Feb 19, 2015

Topic Modeling参考文献 30被引用 720

一句话总结

本文提出了一套20个合成的、基于常识的问答任务，旨在作为实现人工通用语言理解的先决条件。通过基于模拟的环境，从结构化的世界模型生成文本和问题，评估模型的推理能力，如事实链推理、演绎和归纳。其主要贡献是一个基准框架，揭示了当前模型的局限性——特别是记忆网络在某些任务上表现良好，但在其他任务上失败——从而为未来算法开发指明了更稳健推理系统的发展方向。

ABSTRACT

One long-term goal of machine learning research is to produce methods that are applicable to reasoning and natural language, in particular building an intelligent dialogue agent. To measure progress towards that goal, we argue for the usefulness of a set of proxy tasks that evaluate reading comprehension via question answering. Our tasks measure understanding in several ways: whether a system is able to answer questions via chaining facts, simple induction, deduction and many more. The tasks are designed to be prerequisites for any system that aims to be capable of conversing with a human. We believe many existing learning systems can currently not solve them, and hence our aim is to classify these tasks into skill sets, so that researchers can identify (and then rectify) the failings of their systems. We also extend and improve the recently introduced Memory Networks model, and show it is able to solve some, but not all, of the tasks.

研究动机与目标

• 通过定义一组先决推理任务，建立一个标准化、可评估的基准，用于衡量向人工通用问答迈进的进展。
• 识别对人类水平语言理解至关重要的具体推理能力，例如事实链推理、演绎和归纳。
• 创建一个灵活的、基于模拟的框架，生成受控的、基于常识的文本和问答对，以系统性地评估学习模型。
• 通过识别当前系统无法解决的任务，暴露现有模型的局限性，特别是在监督需求和推理泛化方面。
• 通过任务设计与模型开发之间的反馈回路，实现推理算法的迭代改进，通过逐步增加难度的任务推动发展。

提出的方法

• 设计一个类似文字冒险游戏的模拟环境，其中智能体与物体和环境互动，生成基于常识的自然语言叙述及相应问题。
• 根据模拟状态生成问答对，确保每个问题都需要特定的推理技能，如事实链推理、演绎或归纳。
• 将任务划分为不同的技能类别（例如，简单演绎、指代消解、时间推理），以隔离并评估特定的推理能力。
• 采用结构化的监督方式，为每个问题提供支持性事实，使模型能够学习推理路径，同时仍可评估其泛化能力。
• 对记忆网络模型进行扩展，引入注意力机制和跨任务联合训练，以增强推理能力和泛化性能。
• 在单个任务和全部20个任务的联合训练上评估模型，以评估迁移学习能力和鲁棒性。

实验结果

研究问题

• RQ1 哪些推理能力——如事实链推理、演绎或归纳——是实现人工通用问答的必要先决条件？
• RQ2 现有的机器学习模型，特别是记忆网络，是否能在无需大量手工设计的情况下，解决一系列合成的、基于常识的推理任务？
• RQ3 在多个任务上进行联合训练在多大程度上能提升问答系统的泛化能力和推理性能？
• RQ4 当面对需要多跳推理或指代消解的任务时，当前模型的关键失败模式是什么？
• RQ5 如何利用合成的、基于模拟的基准，通过对抗性任务生成和反馈回路，实现模型设计的迭代改进？

主要发现

• 经过改进的记忆网络（如引入注意力机制和联合训练）在多个任务上表现优异，特别是在事实链推理和简单演绎任务中。
• 尽管有所改进，扩展后的记忆网络在需要复杂推理的任务（如指代消解、时间推理和多跳推理）上仍会失败。
• 在全部20个任务上进行联合训练，性能与在单个任务上训练相当，表明模型能够同时学习多种推理模式。
• 模型需要强监督（即提供支持性事实）才能取得良好表现，凸显了弱监督或少样本学习能力的不足。
• 目前尚无已知的通用非手工设计方法能在少于1,000个训练样本的情况下解决这些任务，表明少样本或零样本泛化面临重大挑战。
• bAbI任务已对新模型的发展产生影响，如MemN2N、动态记忆网络和神经推理器，显示出对算法创新的实际影响。