[论文解读] Towards Neural Network-based Reasoning

Baolin Peng, Zhengdong Lu+2 more|arXiv (Cornell University)|Aug 22, 2015

Topic Modeling参考文献 11被引用 61

一句话总结

本文提出 Neural Reasoner，一种无需依赖结构化逻辑形式的端到端神经网络框架，用于对自然语言事实进行深度神经网络推理。其采用多层架构与交互池化机制，建模复杂推理过程，在两项具有挑战性的合成推理任务上实现最先进性能——在 Path Finding (10K) 任务上准确率超过 98%，显著优于先前的神经模型。

ABSTRACT

We propose Neural Reasoner, a framework for neural network-based reasoning over natural language sentences. Given a question, Neural Reasoner can infer over multiple supporting facts and find an answer to the question in specific forms. Neural Reasoner has 1) a specific interaction-pooling mechanism, allowing it to examine multiple facts, and 2) a deep architecture, allowing it to model the complicated logical relations in reasoning tasks. Assuming no particular structure exists in the question and facts, Neural Reasoner is able to accommodate different types of reasoning and different forms of language expressions. Despite the model complexity, Neural Reasoner can still be trained effectively in an end-to-end manner. Our empirical studies show that Neural Reasoner can outperform existing neural reasoning systems with remarkable margins on two difficult artificial tasks (Positional Reasoning and Path Finding) proposed in [8]. For example, it improves the accuracy on Path Finding(10K) from 33.4% [6] to over 98%.

研究动机与目标

• 开发一种灵活的、无需依赖基于规则的逻辑形式的端到端神经网络框架，用于对自然语言句子进行推理。
• 解决现有记忆网络在处理具有可变事实数量和多样语言表达的复杂多步推理任务时的局限性。
• 通过引入辅助任务，在监督信号有限的情况下提升表示学习效果，增强低数据场景下的模型泛化能力。
• 设计一种可扩展的架构，使其能泛化于不同类型推理任务，包括位置推理与路径查找推理。
• 证明深层交互式推理机制可在具有挑战性的合成推理基准上超越简单模型。

提出的方法

• 采用分层架构，通过使用 RNN 的编码层将自然语言问题和事实转换为稠密向量表示。
• 利用多个推理层，每一层通过由深度神经网络（DNN）控制的交互机制更新问题和事实的表示。
• 在每个推理层对更新后的事实表示应用池化操作，将其融合为全局、上下文感知的问题表示。
• 引入多任务训练策略，通过辅助任务（如原始句子和抽象形式的重建）增强表示学习与模型泛化能力。
• 采用交互池化机制，使模型能够迭代地过滤、组合并优化多个事实之间的信息，无论其数量或相关性如何。
• 将最后一层推理后的问题表示作为输入送入答案生成模块，该模块可为分类器或序列生成器，具体取决于任务类型。

实验结果

研究问题

• RQ1 纯神经网络系统是否能够在不进行显式逻辑形式映射的情况下，对自然语言事实执行复杂推理？
• RQ2 在深层架构中，交互池化机制相比简单记忆网络如何提升推理性能？
• RQ3 在低数据推理场景下，辅助任务在多大程度上增强表示学习与模型泛化能力？
• RQ4 模型是否无需架构调优即可在不同类型推理（如位置推理、路径查找推理）之间实现泛化？
• RQ5 架构深度（推理层数与 DNN 深度）对复杂度逐渐增加的推理任务性能有何影响？

主要发现

• Neural Reasoner 在 Path Finding (10K) 任务上达到 97.9% 的准确率，显著优于此前最佳结果 33.4%（Memory Net-N2N）。
• 在 Path Finding (10K) 基准上，采用更深架构的 Neural Reasoner 准确率超过 98%，展现出强大的可扩展性与鲁棒性。
• 该模型在 Path Finding (10K) 任务上大幅超越现有神经推理系统，包括 Memory Net-step（68.1% vs. 36.0%）与 Memory Net-N2N（33.4% vs. 17.3%）。
• 辅助任务——尤其是抽象形式重建——显著提升性能，当使用 3 层推理与 3 层 DNN 时，Path Finding (10K) 任务准确率从 51.7% 提升至 98.6%。
• 即使仅使用 1K 个训练样本，Neural Reasoner 在辅助任务加持下于 Path Finding (1K) 任务上仍达到 95.2% 的准确率，优于无此类监督的模型。
• 该模型在不同推理深度与架构下均保持优异性能，表明三重推理层并未因任务仅需两步而造成性能下降。