[论文解读] On Neural Architecture Inductive Biases for Relational Tasks

Giancarlo Kerg, Sarthak Mittal+4 more|arXiv (Cornell University)|Jun 9, 2022

Neural Networks and Applications被引用 10

一句话总结

本文提出组合关系网络（CoRelNet），一种通过基于相似度的关系显式分离感知与关系表征的简单神经架构。通过仅使用关系相似度得分进行解码器训练，该模型在关系心理物理学任务中实现了卓越的分布外（OoD）泛化能力，表明架构归纳偏置——尤其是将关系与感知特征解耦——在低数据和OoD设置下显著提升了模型鲁棒性。

ABSTRACT

Current deep learning approaches have shown good in-distribution generalization performance, but struggle with out-of-distribution generalization. This is especially true in the case of tasks involving abstract relations like recognizing rules in sequences, as we find in many intelligence tests. Recent work has explored how forcing relational representations to remain distinct from sensory representations, as it seems to be the case in the brain, can help artificial systems. Building on this work, we further explore and formalize the advantages afforded by 'partitioned' representations of relations and sensory details, and how this inductive bias can help recompose learned relational structure in newly encountered settings. We introduce a simple architecture based on similarity scores which we name Compositional Relational Network (CoRelNet). Using this model, we investigate a series of inductive biases that ensure abstract relations are learned and represented distinctly from sensory data, and explore their effects on out-of-distribution generalization for a series of relational psychophysics tasks. We find that simple architectural choices can outperform existing models in out-of-distribution generalization. Together, these results show that partitioning relational representations from other information streams may be a simple way to augment existing network architectures' robustness when performing out-of-distribution relational computations.

研究动机与目标

• 探究架构归纳偏置（特别是分离感知与关系表征）如何提升关系推理任务中的分布外（OoD）泛化能力。
• 形式化关系与感知细节的分隔表征优势，受类脑组织结构启发，即关系从感知输入中抽象而来。
• 评估基于相似度得分的极简、简单架构是否能在OoD关系泛化中超越更复杂模型。
• 确定OoD性能在多大程度上依赖于关系编码质量而非感知表征质量，尤其是在存在虚假特征和可变输入情境下。
• 识别可有效回溯集成至现有架构（如MLP、Transformer）中的最小但有效的归纳偏置，以提升其关系推理鲁棒性。

提出的方法

• 提出CoRelNet，通过点积运算计算对象之间的成对相似度得分，形成与感知特征无关的关系表征矩阵。
• 使用独立的轻量级解码器（如MLP）进行预测，仅依赖关系相似度矩阵，实现预测与直接感知输入的解耦。
• 采用编码器对输入对象进行嵌入，其关键归纳偏置在于编码器必须是单射的，以保留对象身份，而解码器仅依赖关系结构。
• 应用对称点积相似度函数，确保相同对象的得分高于不同对象，强化关系不变性。
• 通过在未见对象、未见关系和可变输入规模下测试，评估OoD设置下的性能，并对编码器和解码器组件进行受控消融实验。
• 通过消融研究隔离关系编码的影响，通过移除编码器训练并使用随机编码器测试泛化能力，证明OoD性能主要取决于解码器利用关系信息的能力。

实验结果

研究问题

• RQ1 能否通过一种将关系表征与感知输入解耦的简单神经架构，在关系任务中实现更优的分布外泛化？
• RQ2 通过相似度得分分离感知与关系信息，在低数据和OoD设置下，能在多大程度上提升模型鲁棒性？
• RQ3 当编码器为随机或非学习状态时，模型性能更依赖于编码器质量还是解码器设计？
• RQ4 虚假特征的存在如何影响OoD泛化？架构归纳偏置能否缓解此问题？
• RQ5 最小归纳偏置（如对称相似度计算和仅依赖关系矩阵的解码器）能否有效迁移至MLP和Transformer等现有架构中？

主要发现

• CoRelNet在所有测试的关系任务中均优于现有模型（包括ESBN），在OoD泛化方面表现出架构归纳偏置的有效性。
• 即使使用随机编码器，当不存在虚假特征时，模型在未见对象和关系上仍能实现良好OoO泛化，证明解码器利用关系相似度的能力已足够。
• 只要编码器是单射的，无论其是否经过训练，模型均能保持强劲性能，表明关键归纳偏置在于关系与感知流的分离。
• 在存在虚假特征时，随机编码器失效，但经过强正则化的学习编码器仍能实现良好OoD泛化，凸显在噪声环境中特征选择的重要性。
• 使用对称点积相似度可确保相同对象得分高于不同对象，从而稳定关系学习并提升泛化能力。
• 移除编码器的训练信号，仅依赖解码器处理关系矩阵，仍能获得优异OoD性能，证实关系信息是泛化的主要驱动力。