[论文解读] What Can Neural Networks Reason About?

Keyulu Xu, Jingling Li+4 more|arXiv (Cornell University)|May 30, 2019

Multimodal Machine Learning Applications参考文献 64被引用 58

一句话总结

本文提出算法对齐框架，用以预测神经网络架构在推理任务上的泛化能力，显示 GNNs 与动态规划对齐，NES 可以处理 NP-hard 子集和问题。

ABSTRACT

Neural networks have succeeded in many reasoning tasks. Empirically, these tasks require specialized network structures, e.g., Graph Neural Networks (GNNs) perform well on many such tasks, but less structured networks fail. Theoretically, there is limited understanding of why and when a network structure generalizes better than others, although they have equal expressive power. In this paper, we develop a framework to characterize which reasoning tasks a network can learn well, by studying how well its computation structure aligns with the algorithmic structure of the relevant reasoning process. We formally define this algorithmic alignment and derive a sample complexity bound that decreases with better alignment. This framework offers an explanation for the empirical success of popular reasoning models, and suggests their limitations. As an example, we unify seemingly different reasoning tasks, such as intuitive physics, visual question answering, and shortest paths, via the lens of a powerful algorithmic paradigm, dynamic programming (DP). We show that GNNs align with DP and thus are expected to solve these tasks. On several reasoning tasks, our theory is supported by empirical results.

研究动机与目标

• 激励并形式化神经网络可以有效学习的推理任务问题。
• 引入算法对齐，将网络结构与推理任务的算法结构联系起来。
• 提供理论与经验证据，表明对齐会影响样本复杂度和泛化。
• 在一个共同框架下统一并分析推理任务（摘要统计、关系最大化、动态规划、NP-hard 问题）。

提出的方法

• 定义网络模块与推理算法之间的算法对齐的数值度量。
• 开发基于 PAC 学习的分析，表明样本复杂度随更好对齐而降低（定理 3.6）。
• 给出对过参数化的多层感知机（MLP）的模块级样本复杂度界限（定理 3.5）。
• 说明 DP 如何在 GNNs 下自然统一直观物理、视觉问答和最短路径等任务。
• 设计基于穷举搜索的神经网络（NES）用于子集和，以说明 DP 对齐架构的局限性。

实验结果

研究问题

• RQ1 在给定其架构的情况下，神经网络可以高效地学习推理哪些任务？
• RQ2 网络的计算结构与推理算法之间的对齐如何影响样本复杂度和泛化？
• RQ3 常见架构（MLP、Deep Sets、GNNs）能否学习某些类别的推理任务，它们在哪些方面会失败？
• RQ4 我们能否设计与非 DP 推理对齐的架构（例如 NP-hard 问题），以实现更好的泛化？

主要发现

• GNNs 与动态规划对齐，且对最短路径和 DP 风格的视觉推理等 DP 类任务具有良好的泛化。
• Deep Sets 在置换对称的摘要统计任务上优于 MLP，因对齐更好。
• 一轮 GNNs 能处理关系型最大化，而 Deep Sets 由于需要循环式计算而表现不佳。
• GNNs 在 NP-hard 子集和问题上表现不佳，但提出的 Neural Exhaustive Search (NES) 架构具备泛化能力，说明对齐的局限性。
• 跨任务的经验结果表明，更好的算法对齐与更高的样本效率和泛化之间存在正相关。