[论文解读] Same-different problems strain convolutional neural networks

Matthew Ricci, Junkyung Kim+1 more|arXiv (Cornell University)|Feb 9, 2018

Industrial Technology and Control Systems被引用 6

一句话总结

本文表明卷积神经网络（CNNs）在处理相同-不同视觉关系任务时存在根本性困难，即使经过大量训练也无法实现泛化，而人类和动物则能从少量样本中学会此类关系。作者证明CNNs依赖于机械记忆而非抽象推理，并提出反馈机制（如注意力和知觉分组）对于真正的视觉关系检测至关重要。

ABSTRACT

The robust and efficient recognition of visual relations in images is a hallmark of biological vision. We argue that, despite recent progress in visual recognition, modern machine vision algorithms are severely limited in their ability to learn visual relations. Through controlled experiments, we demonstrate that visual-relation problems strain convolutional neural networks (CNNs). The networks eventually break altogether when rote memorization becomes impossible, as when intra-class variability exceeds network capacity. Motivated by the comparable success of biological vision, we argue that feedback mechanisms including attention and perceptual grouping may be the key computational components underlying abstract visual reasoning.\

研究动机与目标

• 探究CNN在视觉关系任务中失败的原因是否源于架构限制而非超参数选择。
• 系统评估多种CNN架构在合成视觉推理任务（SVRT）上的表现，特别区分相同-不同关系与空间关系问题。
• 设计受控实验，证明CNN通过记忆而非泛化解决相同-不同问题。
• 论证反馈机制（如注意力和知觉分组）对于抽象视觉推理至关重要，其灵感来自生物视觉系统。
• 推动开发新型视觉推理架构，整合非前馈过程（如动态注意力和特征分组）

提出的方法

• 在全部23个SVRT问题上训练九种CNN架构，其深度（2、4、6个卷积层）、初始感受野大小（2×2、4×4、6×6）和滤波器数量（6、12、18）各不相同。
• 使用ReLU激活函数，每个卷积层后采用3×3最大池化（步长为2），并随后连接三个全连接层（每层1,024个单元），最后是二分类输出层。
• 所有实验均采用Xavier权重初始化和Adam优化器，学习率设为10⁻⁴。
• 评估模型在SVRT问题上的表现，按准确率对模型进行排名，并根据问题定义将任务分类为“相同-不同”（红色）或“空间关系”（蓝色）。
• 设计了一项新型PSVRT（知觉分组SVRT）任务，用于测试对未见过的物体对的泛化能力，通过将场景元素分配到独立特征通道来模拟知觉分组。
• 将标准CNN与关系网络（Santoro et al., 2017）对比，同时评估一种经修改的前馈网络，该网络通过通道分组模拟动态注意力转移，避免组合爆炸问题。

实验结果

研究问题

• RQ1 现代CNN能否在相同-不同视觉关系问题上实现泛化，还是仅依赖于记忆？
• RQ2 CNN在不同类型视觉推理任务（特别是相同-不同与空间关系问题）上的表现水平如何比较？
• RQ3 注意力和知觉分组等反馈机制在超越前馈CNN的视觉推理泛化能力方面，能发挥多大作用？
• RQ4 一种通过通道分组模拟动态注意力转移的前馈网络，能否在不发生过拟合的情况下，优于标准CNN在相同-不同任务上的表现？
• RQ5 为何人类和动物能从少量样本中泛化相同-不同关系，而深度网络即使在数百万个样本后仍无法实现？

主要发现

• 在全部23个SVRT任务中，CNN在相同-不同问题（红色柱状图）上的准确率始终低于空间关系问题（蓝色柱状图）。
• 在最具挑战性的相同-不同问题（SVRT #20）中，表现最佳的CNN在经历一百万次训练后仍无法超越随机猜测水平，而人类仅需平均六个样本即可掌握规则。
• 在受控实验中，CNN仅通过机械记忆解决相同-不同任务，当类内差异超过网络容量时即完全崩溃。
• 一种通过将场景元素分配至独立通道来模拟知觉分组的前馈网络，成功在PSVRT任务上实现无过拟合学习，表现优于标准CNN和关系网络。
• 关系网络（Santoro et al., 2017）也因计算负担过重而出现过拟合，表明组合式注意力机制不可扩展。
• 结果表明，非前馈过程——尤其是注意力和知觉分组——对于抽象视觉推理至关重要，必须整合进未来的视觉推理架构中。