[论文解读] Relational inductive biases, deep learning, and graph networks

Peter Battaglia, Jessica B. Hamrick+1 more|arXiv (Cornell University)|Jun 4, 2018

Advanced Graph Neural Networks参考文献 176被引用 2,391

一句话总结

本文提出图网络（GNs）作为一种新型深度学习框架，具备强大的关系归纳偏置，以实现组合泛化——即对实体、关系及其组合进行推理。GNs 通过在图上使用可学习的消息传递机制处理结构化知识，对图神经网络进行了泛化与扩展，在推理任务中实现了更高的样本效率和可解释性。

ABSTRACT

Artificial intelligence (AI) has undergone a renaissance recently, making major progress in key domains such as vision, language, control, and decision-making. This has been due, in part, to cheap data and cheap compute resources, which have fit the natural strengths of deep learning. However, many defining characteristics of human intelligence, which developed under much different pressures, remain out of reach for current approaches. In particular, generalizing beyond one's experiences--a hallmark of human intelligence from infancy--remains a formidable challenge for modern AI. The following is part position paper, part review, and part unification. We argue that combinatorial generalization must be a top priority for AI to achieve human-like abilities, and that structured representations and computations are key to realizing this objective. Just as biology uses nature and nurture cooperatively, we reject the false choice between "hand-engineering" and "end-to-end" learning, and instead advocate for an approach which benefits from their complementary strengths. We explore how using relational inductive biases within deep learning architectures can facilitate learning about entities, relations, and rules for composing them. We present a new building block for the AI toolkit with a strong relational inductive bias--the graph network--which generalizes and extends various approaches for neural networks that operate on graphs, and provides a straightforward interface for manipulating structured knowledge and producing structured behaviors. We discuss how graph networks can support relational reasoning and combinatorial generalization, laying the foundation for more sophisticated, interpretable, and flexible patterns of reasoning. As a companion to this paper, we have released an open-source software library for building graph networks, with demonstrations of how to use them in practice.

研究动机与目标

• 解决现代深度学习在实现组合泛化方面的局限性——即通过组合已知元素来泛化到训练数据之外的情况。
• 通过整合端到端学习与手工设计符号系统的优势，克服二者之间的权衡。
• 提出一个统一的、可学习的框架，支持基于图计算的结构化表示与关系推理。
• 通过将关系归纳偏置嵌入深度学习架构，实现更可解释、更灵活且样本效率更高的人工智能系统。

提出的方法

• 提出图网络（GNs）作为可微分、端到端可训练的框架，作用于包含节点、边和全局上下文的图。
• 通过消息传递机制定义GNs：消息从边、节点和全局特征计算，按节点聚合，并用于更新节点和全局表示。
• 使用可学习函数（如多层感知机）计算消息、更新节点和全局表示，支持可微学习。
• 通过允许任意的输入和输出图结构，并支持多种类型的关系归纳偏置，对现有图神经网络进行泛化。
• 支持静态和动态图结构，实现适应性，例如在推理过程中创建或删除边。
• 提供开源库以支持实际实现，并展示了GNs在推理和控制任务中的应用。

实验结果

研究问题

• RQ1 如何为深度学习模型赋予强大的关系归纳偏置，以提升组合泛化能力？
• RQ2 能否设计一个统一的、可学习的框架，以支持对实体、关系及其组合的结构化推理？
• RQ3 在需要关系推理和样本效率的任务中，图网络相较于标准深度学习模型有何优势？
• RQ4 如何使图网络适应图结构在计算过程中动态演变的环境？
• RQ5 图网络在复杂推理任务中，能在多大程度上提升可解释性和迁移学习能力？

主要发现

• 与标准深度学习模型相比，图网络在样本效率方面有显著提升，尤其在需要组合泛化的任务中表现突出。
• GNs 在物理动力学预测等推理任务中表现出色，能够泛化到未见过的物体配置和相互作用。
• 该框架通过显式建模实体和关系，支持可解释推理，能够可视化和分析内部表示。
• GNs 在训练分布之外也表现出良好的泛化能力，例如泛化到新数量的物体或训练期间未见过的新组合。
• GNs 的开源实现支持在视觉、语言和控制等多样化领域中的实际部署与扩展。
• 由于其结构化的归纳偏置，图网络在需要关系推理的任务（如传递推理和类比推理）中优于标准模型。