[论文解读] When and how do CNNs generalize to out-of-distribution category-viewpoint combinations?

Spandan Madan, Timothy Henry+7 more|arXiv (Cornell University)|Jul 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 84被引用 6

一句话总结

本文研究了卷积神经网络（CNNs）在何种条件下以及如何对分布外（OOD）的物体类别-视角组合实现泛化。研究发现，增加分布内数据的多样性可提升OOD泛化性能；共享网络相比独立网络会损害OOD性能；OOD泛化由神经元专业化机制所驱动——即神经元会独立地对类别或视角产生选择性。

ABSTRACT

Object recognition and viewpoint estimation lie at the heart of visual understanding. Recent works suggest that convolutional neural networks (CNNs) fail to generalize to out-of-distribution (OOD) category-viewpoint combinations, ie. combinations not seen during training. In this paper, we investigate when and how such OOD generalization may be possible by evaluating CNNs trained to classify both object category and 3D viewpoint on OOD combinations, and identifying the neural mechanisms that facilitate such OOD generalization. We show that increasing the number of in-distribution combinations (ie. data diversity) substantially improves generalization to OOD combinations, even with the same amount of training data. We compare learning category and viewpoint in separate and shared network architectures, and observe starkly different trends on in-distribution and OOD combinations, ie. while shared networks are helpful in-distribution, separate networks significantly outperform shared ones at OOD combinations. Finally, we demonstrate that such OOD generalization is facilitated by the neural mechanism of specialization, ie. the emergence of two types of neurons -- neurons selective to category and invariant to viewpoint, and vice versa.

研究动机与目标

• 理解CNN在何种条件下可对分布外（OOD）的类别-视角组合实现泛化。
• 研究架构选择（特别是类别与视角共享 vs. 独立网络）对OOD泛化性能的影响。
• 识别促成OOD泛化的神经机制，尤其是神经元响应的专业化特征。
• 考察分布内组合的数据多样性在提升OOD泛化性能中的作用。
• 确定类别与视角的联合学习是否阻碍或促进对未见组合的泛化。

提出的方法

• 在多样化的分布内物体类别-视角组合上训练CNN，以研究其对OOD组合的泛化能力。
• 比较独立网络（类别一个网络，视角一个网络）与共享网络（联合训练）在分布内和OOD组合上的性能表现。
• 系统性地改变分布内组合的数量，同时保持总训练数据量恒定，以隔离数据多样性的影响。
• 通过神经元级激活分析识别专业化现象：对类别具有选择性而与视角无关的神经元，以及对视角具有选择性而与类别无关的神经元。
• 利用激活分析量化不同架构下学习特征的不变性与选择性程度。
• 在保留的OOD类别-视角对上评估泛化性能，以衡量零样本迁移的成功程度。

实验结果

研究问题

• RQ1 在总训练数据量保持不变的前提下，增加分布内类别-视角组合的数量是否能提升对OOD组合的泛化能力？
• RQ2 独立网络与共享网络架构在物体类别与3D视角的OOD泛化性能上表现如何？
• RQ3 CNN中促成成功OOD泛化的神经机制是什么？
• RQ4 对类别或视角具有独立选择性的专业化神经元在多大程度上促进OOD泛化？
• RQ5 在无架构修改的前提下，仅靠数据多样性是否足以实现OOD泛化？

主要发现

• 即使总训练数据量保持不变，增加分布内类别-视角组合的数量也能显著提升对OOD组合的泛化能力。
• 尽管共享网络在分布内数据上表现更优，但类别与视角的独立网络在OOD组合上的泛化性能优于共享网络。
• OOD泛化强烈依赖于神经元专业化机制：特定神经元对类别或视角产生选择性，同时对另一模态保持不变。
• 出现对视角不变的类别选择性神经元，以及对类别不变的视角选择性神经元，是促成OOD泛化的关键机制。
• 共享架构因类别与视角表示学习之间的干扰而抑制OOD泛化。
• 在无架构修改的前提下，仅靠数据多样性即可实现有意义的OOD泛化，表明数据筛选是实现鲁棒视觉理解的关键因素。