[论文解读] Question answering via integer programming over semi-structured knowledge

Daniel Khashabi, Tushar Khot+4 more|arXiv (Cornell University)|Jul 9, 2016

Topic Modeling参考文献 33被引用 22

一句话总结

该论文提出了一种基于整数线性规划（ILP）的开放域科学问答框架，利用半结构化知识库实现多跳、结构化的推理。与基于马尔可夫逻辑网络的先前结构化方法相比，性能提升14%；与先前的ILP公式相比，性能提升17.7%，表明该方法在结合非结构化方法时展现出更优的鲁棒性与性能。

ABSTRACT

Answering science questions posed in natural language is an important AI challenge. Answering such questions often requires non-trivial inference and knowledge that goes beyond factoid retrieval. Yet, most systems for this task are based on relatively shallow Information Retrieval (IR) and statistical correlation techniques operating on large unstructured corpora. We propose a structured inference system for this task, formulated as an Integer Linear Program (ILP), that answers natural language questions using a semi-structured knowledge base derived from text, including questions requiring multi-step inference and a combination of multiple facts. On a dataset of real, unseen science questions, our system significantly outperforms (+14%) the best previous attempt at structured reasoning for this task, which used Markov Logic Networks (MLNs). It also improves upon a previous ILP formulation by 17.7%. When combined with unstructured inference methods, the ILP system significantly boosts overall performance (+10%). Finally, we show our approach is substantially more robust to a simple answer perturbation compared to statistical correlation methods.

研究动机与目标

• 解决开放域科学问答的挑战，该挑战需要超越简单事实检索的复杂推理。
• 克服现有系统依赖浅层信息检索或非结构化文本上统计相关性的局限。
• 开发一种结构化推理方法，能够结合多个事实，并利用半结构化知识库执行多步推理。
• 与基于相关性的方法相比，提升对答案扰动的鲁棒性。
• 证明将结构化ILP推理与非结构化方法结合可显著提升性能。

提出的方法

• 将问答建模为整数线性规划（ILP），实现对半结构化知识的结构化推理。
• 从文本构建半结构化知识库，以机器可处理的关联格式表示事实。
• 将逻辑约束和推理规则编码为ILP公式中的线性约束，以建模多步推理。
• 使用ILP求解器通过最大化与已知事实和问题约束的一致性，寻找最优答案。
• 将ILP系统与非结构化推理模型（例如神经网络）集成，结合结构化推理与统计模式匹配。
• 应用答案扰动测试，评估ILP方法相对于纯统计模型的鲁棒性。

实验结果

研究问题

• RQ1 基于ILP的系统是否能在开放域科学问答中超越现有结构化推理方法（如马尔可夫逻辑网络）？
• RQ2 所提出的ILP公式在相同任务上与先前的ILP方法相比表现如何？
• RQ3 将结构化ILP推理与非结构化推理方法结合，能在多大程度上提升整体系统准确率？
• RQ4 与基于统计相关性的方法相比，ILP系统在答案空间的小扰动下表现出多高的鲁棒性？
• RQ5 ILP框架是否能有效处理需要整合多个事实的多步推理任务？

主要发现

• 所提出的ILP系统相较于最佳的先前结构化推理方法（使用马尔可夫逻辑网络）实现了14%的绝对性能提升。
• 与先前的ILP公式相比，性能提升了17.7%，证明了当前ILP设计的有效性。
• 当与非结构化推理方法结合时，ILP系统使整体性能提升10%，表明结构化与统计方法之间存在显著协同效应。
• 与基于统计相关性的方法相比，该系统在答案扰动下表现出显著更高的鲁棒性，表明其推理保真度更强。
• 结果证实，通过ILP实现的结构化推理在需要超越简单检索的复杂多事实科学问题推理中是有效的。