[论文解读] What Happened to My Dog in That Network: Unraveling Top-down Generators in Convolutional Neural Networks

Patrick W. Gallagher, Shuai Tang+1 more|arXiv (Cornell University)|Nov 23, 2015

Domain Adaptation and Few-Shot Learning参考文献 23被引用 7

一句话总结

本文提出在卷积神经网络（CNN）中引入自顶向下的生成器，通过学习的特征流来建模空间变换（旋转、缩放、平移），以增强感知能力。通过在现有网络中应用这些生成器，该方法实现了内部数据增强、零样本变换估计和图像合成，使ImageNet的top-1准确率在额外训练后从60.15%提升至60.52%。

ABSTRACT

Top-down information plays a central role in human perception, but plays relatively little role in many current state-of-the-art deep networks, such as Convolutional Neural Networks (CNNs). This work seeks to explore a path by which top-down information can have a direct impact within current deep networks. We explore this path by learning and using "generators" corresponding to the network internal effects of three types of transformation (each a restriction of a general affine transformation): rotation, scaling, and translation. We demonstrate how these learned generators can be used to transfer top-down information to novel settings, as mediated by the "feature flows" that the transformations (and the associated generators) correspond to inside the network. Specifically, we explore three aspects: 1) using generators as part of a method for synthesizing transformed images --- given a previously unseen image, produce versions of that image corresponding to one or more specified transformations, 2) "zero-shot learning" --- when provided with a feature flow corresponding to the effect of a transformation of unknown amount, leverage learned generators as part of a method by which to perform an accurate categorization of the amount of transformation, even for amounts never observed during training, and 3) (inside-CNN) "data augmentation" --- improve the classification performance of an existing network by using the learned generators to directly provide additional training "inside the CNN".

研究动机与目标

• 研究如何将人类感知中至关重要的自顶向下信息整合到CNN等深度学习模型中。
• 开发一种方法，用于学习并应用建模卷积神经网络特征空间内空间变换（旋转、缩放、平移）的生成器。
• 利用学习的生成器实现对未见变换量的零样本分类。
• 通过使用生成器合成变换特征，实现内部数据增强，从而提升CNN的泛化能力。

提出的方法

• 将学习的生成器建模为基于网格的向量场，表示每个卷积层上的仿射变换（旋转、缩放、平移）。
• 对于第ℓ层的变换Δθ，每个生成器记为Gₗ[Δθ]，其将初始特征Fⱼ,ₗ[θ_init]映射到预测的变换后特征Φⱼ,ₗ[θ_init; Δθ]。
• 在反向传播过程中使用近似逆向形变以确保梯度一致性，其中逆向向量通过取反分量并反转空间位置来实现。
• 内部数据增强在训练期间对conv5中的特征应用随机生成器（例如，+30°旋转、1.3倍缩放），从而在不修改输入数据的情况下模拟增强样本。
• 零样本学习利用生成器流，通过将特征流与学习到的生成器响应匹配，推断出训练期间未见过的变换量。
• 图像合成通过将学习到的生成器应用于新输入图像，实现通过特征级操作生成变换后的版本。

实验结果

研究问题

• RQ1 通过学习的生成器建模的自顶向下信息，能否提升CNN在标准基准上的性能？
• RQ2 生成器能否实现对训练期间未见的变换量的准确零样本估计？
• RQ3 使用生成器进行内部数据增强，能否在无需外部数据增强的情况下提升CNN的泛化能力？
• RQ4 学习到的生成器在从未见过的输入中合成变换图像方面表现如何？

主要发现

• 所提出的内部数据增强方法使AlexNet在ImageNet上的top-1验证准确率在额外五个训练周期后，从60.15%提升至60.52%。
• 该方法实现了84.35%的top-5准确率，表明通过基于生成器的特征级增强可实现可测量的性能提升。
• 零样本变换估计是可行的：即使对于训练分布之外的值，模型也能准确推断出变换量（例如，旋转角度）。
• 通过生成器实现的图像合成成功生成了新颖图像的合理变换版本，方法是将学习到的特征流应用于初始特征。
• 近似逆向形变方法实现了稳定的反向传播，实证验证表明尽管存在网格错位，仍具有良好的梯度一致性。
• 该方法表明，通过学习的生成器实现的自顶向下信息可有效集成到现有CNN中，从而提升模型的鲁棒性与泛化能力。