[论文解读] The Scattering Compositional Learner: Discovering Objects, Attributes, Relationships in Analogical Reasoning

Yuhuai Wu, Honghua Dong+2 more|arXiv (Cornell University)|Jul 8, 2020

Topic Modeling参考文献 34被引用 26

一句话总结

Scattering Compositional Learner (SCL) 是一种神经架构，通过显式组合对象、属性和关系网络来发现 Raven's Progressive Matrices (RPM) 任务中的组合结构。通过端到端反向传播进行训练，SCL 在 Balanced-RAVEN 上实现了 48.7% 的相对性能提升，在 PGM 上实现了 26.4% 的提升，达到当前最优性能（SoTA），同时学习到可解释的、因子化表示，并在未见过的类比和领域分布变化上展现出强大的零样本泛化能力。

ABSTRACT

In this work, we focus on an analogical reasoning task that contains rich compositional structures, Raven's Progressive Matrices (RPM). To discover compositional structures of the data, we propose the Scattering Compositional Learner (SCL), an architecture that composes neural networks in a sequence. Our SCL achieves state-of-the-art performance on two RPM datasets, with a 48.7% relative improvement on Balanced-RAVEN and 26.4% on PGM over the previous state-of-the-art. We additionally show that our model discovers compositional representations of objects' attributes (e.g., shape color, size), and their relationships (e.g., progression, union). We also find that the compositional representation makes the SCL significantly more robust to test-time domain shifts and greatly improves zero-shot generalization to previously unseen analogies.

研究动机与目标

• 通过在视觉推理任务中显式建模组合结构，解决深度学习中的系统性泛化挑战。
• 提升类比推理任务（如 Raven's Progressive Matrices）中零样本泛化能力与对测试时领域分布变化的鲁棒性。
• 发现对象、属性（例如形状、颜色、大小）和关系（例如进展、并集）的可解释、因子化表示。
• 验证组合结构学习是否能够实现对未见属性-关系对的泛化，而无需微调。

提出的方法

• SCL 组合了三类神经网络：对象网络（𝑁𝑜𝑖）、属性网络（𝑁𝑎𝑗）和关系网络（𝑁𝑟𝑘），通过组合 𝒩𝑟𝑘∘𝒩𝑎𝑗∘𝒩𝑜𝑖 预测特定关系是否在对象的属性之间成立。
• 模型计算对象、属性和关系网络之间的所有可能组合，以强制兼容性，并促使每个网络学习到通用、解耦的函数（例如，'进展' 与属性类型无关）。
• 该架构通过标准的端到端反向传播进行训练，损失函数为组合损失 ℒcomp，以促进学习表示与符号化属性/关系标签之间的对齐。
• 通过线性探测验证可解释特征：例如，一个神经元学习到线性变换 y ≈ -2.5x + 5 来表示对象大小。
• 关系网络输出的 t-SNE 可视化结果表明，每种关系类型的聚类清晰分离，表明抽象关系概念学习成功。
• 通过在训练中未见的属性-关系对上进行测试来评估泛化能力，性能通过测试准确率和泛化差距（测试准确率与验证准确率之差）衡量。

实验结果

研究问题

• RQ1 是否能够通过显式由对象、属性和关系模块组成的神经网络架构，在类比推理任务中发现解耦的、可解释的表示？
• RQ2 学习组合结构是否能提升对属性与关系新组合的零样本泛化能力？
• RQ3 与之前的 SoTA 模型相比，组合结构学习如何影响对测试时领域分布变化的鲁棒性？
• RQ4 该模型的内部表示在多大程度上可以与符号化属性和关系概念对齐？

主要发现

• SCL 在 Balanced-RAVEN 上相比之前最先进方法实现了 48.7% 的相对性能提升，在 PGM 上实现了 26.4% 的提升，证明其在 RPM 基准测试中达到 SoTA 性能。
• 该模型学习到了可解释的、因子化的表示：例如，一个神经元学习到线性变换 y ≈ -2.5x + 5 来表示对象大小，与符号化大小标签高度一致。
• t-SNE 可视化显示，每种关系类型（如恒定、进展、并集）的聚类清晰分离，表明抽象关系概念学习成功。
• 在未见的属性-关系对上，SCL 实现了 90.0% 的平均测试准确率，仅比验证准确率低 2% 的平均退化；而 CoPINet 的准确率下降至 34.7%，平均退化达 14.6%。
• 组合损失 ℒcomp 与测试准确率的变化趋势相反，支持了组合结构学习推动泛化性能的假设。
• SCL 展现出强大的对分布偏移的鲁棒性，在新类比和分布外测试场景中均能有效泛化，而先前模型在此类情况下失败。