[论文解读] Object-based attention for spatio-temporal reasoning: Outperforming neuro-symbolic models with flexible distributed architectures.

Xin Ding, Felix Hill+2 more|arXiv (Cornell University)|Dec 15, 2020

Topic Modeling被引用 22

一句话总结

该论文提出了一种完全可学习的神经网络，采用自注意力机制和可学习的软对象中心表示，在 CLEVRER 和 CATER 两个时空推理基准上超越了先前的神经符号模型。通过利用 BERT 风格的半监督损失和强大的归纳偏置，该模型仅使用不到 60% 的标注数据即实现了最先进性能，挑战了神经网络无法有效推理因果性、动态物理事件的观点。

ABSTRACT

Neural networks have achieved success in a wide array of perceptual tasks, but it is often stated that they are incapable of solving tasks that require higher-level reasoning. Two new task domains, CLEVRER and CATER, have recently been developed to focus on reasoning, as opposed to perception, in the context of spatio-temporal interactions between objects. Initial experiments on these domains found that neuro-symbolic approaches, which couple a logic engine and language parser with a neural perceptual front-end, substantially outperform fully-learned distributed networks, a finding that was taken to support the above thesis. Here, we show on the contrary that a fully-learned neural network with the right inductive biases can perform substantially better than all previous neural-symbolic models on both of these tasks, particularly on questions that most emphasize reasoning over perception. Our model makes critical use of both self-attention and learned soft object-centric representations, as well as BERT-style semi-supervised predictive losses. These flexible biases allow our model to surpass the previous neuro-symbolic state-of-the-art using less than 60% of available labelled data. Together, these results refute the neuro-symbolic thesis laid out by previous work involving these datasets, and they provide evidence that neural networks can indeed learn to reason effectively about the causal, dynamic structure of physical events.

研究动机与目标

• 挑战主流观点，即神经网络无法在动态、因果的物理环境中执行高层次推理。
• 探究具备适当归纳偏置的完全可学习神经网络是否能在推理密集型任务中超越神经符号模型。
• 评估自注意力机制和可学习对象中心表示在使神经网络推理时空交互方面的作用。
• 评估 BERT 风格的半监督预测损失在减少对大规模标注数据依赖方面的影响。
• 证明神经网络可以在不依赖符号组件的情况下，通过架构设计隐式学习因果结构推理能力。

提出的方法

• 该模型采用自注意力机制，动态关注跨帧的相关时空特征，支持长距离依赖和上下文推理。
• 它学习软性的、分布式的对象中心表示，允许灵活的对象分组与跟踪，无需硬性分割，从而提升对未见过的对象配置的泛化能力。
• 该架构整合了应用于问题-答案对的 BERT 风格掩码语言建模和下一句预测目标，实现在未配对文本上的半监督预训练。
• 模型通过在标注数据上使用交叉熵损失进行端到端训练，将感知信号与推理信号统一于可微分的联合框架中。
• 归纳偏置通过架构选择嵌入，具体为使用对象中心注意力和自注意力机制，而非显式的符号组件。
• 该方法通过利用预测性预训练，减少了对大规模标注数据的依赖，相比先前的神经符号模型更具样本效率。

实验结果

研究问题

• RQ1 具备适当归纳偏置的完全可学习神经网络是否能在推理密集型时空任务中超越神经符号模型？
• RQ2 自注意力机制和可学习对象中心表示在多大程度上能帮助神经网络推理物理交互中的因果动态？
• RQ3 BERT 风格的半监督损失在有限标注数据下对提升推理性能的有效性如何？
• RQ4 缺乏显式符号组件是否会影响推理性能，还是神经网络能通过架构设计隐式学习推理能力？
• RQ5 纯粹的神经方法是否能在 CLEVRER 和 CATER 上超越神经符号模型，尤其是在强调推理而非感知的问题上？

主要发现

• 所提出的模型在 CLEVRER 和 CATER 上均实现了最先进性能，超越了所有先前的神经符号模型。
• 该模型在使用不到可用标注数据 60% 的情况下，仍超越了先前的神经符号最先进模型，显示出极高的样本效率。
• 该模型在强调推理而非感知的问题上表现尤为出色，表明其有效学习了因果与动态结构。
• 自注意力机制与软对象中心表示的结合，使模型无需显式符号基础即可泛化于复杂的时空交互。
• BERT 风格的半监督损失显著提升了性能，尤其在低数据场景下，通过在未配对文本上进行预训练实现。
• 结果反驳了神经网络本质上缺乏推理能力的观点，表明在适当的归纳偏置下，它们能够学习推理物理动态。