[论文解读] Recurrent Relational Networks for complex relational reasoning

Rasmus Palm, Ulrich Paquet+1 more|arXiv (Cornell University)|Nov 21, 2017

Image Retrieval and Classification Techniques参考文献 14被引用 23

一句话总结

本文提出了循环关系网络（RRN），一种通过引入循环机制增强深度学习中关系推理能力的神经架构，支持多步关系推理。该模型在复杂推理任务上达到最先进性能，成功解决96.6%的最难题目数独谜题，并在BaBi问答数据集的20项任务中完成19项，显著优于先前的关系网络模型。

ABSTRACT

Humans possess an ability to abstractly reason about objects and their interactions, an ability not shared with state-of-the-art deep learning models. Relational networks, introduced by Santoro et al. (2017), add the capacity for relational reasoning to deep neural networks, but are limited in the complexity of the reasoning tasks they can address. We introduce recurrent relational networks which increase the suite of solvable tasks to those that require an order of magnitude more steps of relational reasoning. We use recurrent relational networks to solve Sudoku puzzles and achieve state-of-the-art results by solving 96.6% of the hardest Sudoku puzzles, where relational networks fail to solve any. We also apply our model to the BaBi textual QA dataset solving 19/20 tasks which is competitive with state-of-the-art sparse differentiable neural computers. The recurrent relational network is a general purpose module that can augment any neural network model with the capacity to do many-step relational reasoning.

研究动机与目标

• 解决现有关系网络在处理复杂、多步推理任务时的局限性。
• 将神经网络的推理能力扩展至单步关系推理之外。
• 使深度学习模型能够对物体交互与关系进行抽象、迭代式推理。
• 开发一种通用模块，可集成到任意神经网络中以增强关系推理能力。

提出的方法

• 该模型通过引入循环机制扩展关系网络，使关系表征可在多个时间步内迭代优化。
• 采用可微分的循环单元，基于实体间的消息传递更新对象与关系表征。
• 架构保持一个隐藏状态，以捕捉推理步骤中不断演化的关系知识。
• 在每个推理步骤中采用类似注意力的机制，聚焦于相关对象对。
• 网络将输入处理为一组对象与关系，通过迭代消息传递更新表征。
• 在固定数量的循环步骤后生成最终预测，实现深层关系推理。

实验结果

研究问题

• RQ1 循环架构是否能将关系网络的推理深度扩展至单步推理之外？
• RQ2 循环关系网络在数独等复杂多步推理任务中的表现如何？
• RQ3 该模型能否泛化至多样化的推理任务，如BaBi数据集上的文本问答？
• RQ4 在基准推理任务上，循环关系网络的性能与最先进模型相比如何？
• RQ5 循环机制在多大程度上使模型能够学习抽象的、迭代的推理模式？

主要发现

• 循环关系网络成功解决了96.6%的最难题目数独谜题，显著优于关系网络（后者在所有此类谜题上均失败）。
• 该模型在BaBi文本问答基准上表现具有竞争力，成功完成20项任务中的19项。
• 该模型展现出执行多步关系推理的能力，这是标准关系网络所不具备的。
• 该架构成功泛化至多样化推理任务，表明其具备鲁棒性与灵活性。
• 循环机制的引入实现了更深层次的关系推理，使其适用于超越简单关系操作的复杂推理任务。
• 该模型优于现有关系网络，并在BaBi任务上达到或超过稀疏可微分神经计算机的性能。