[论文解读] Synthesizing the preferred inputs for neurons in neural networks via deep generator networks

Anh Son Nguyen, Alexey Dosovitskiy+3 more|arXiv (Cornell University)|May 30, 2016

Advanced Neural Network Applications参考文献 24被引用 256

一句话总结

本文提出 DGN-AM，一种在对 DNN 的神经元进行激活最大化之前使用深度图像生成器先验的方法，能够产生真实且可解释的可视化，揭示跨架构与数据集学到的特征。

ABSTRACT

Deep neural networks (DNNs) have demonstrated state-of-the-art results on many pattern recognition tasks, especially vision classification problems. Understanding the inner workings of such computational brains is both fascinating basic science that is interesting in its own right - similar to why we study the human brain - and will enable researchers to further improve DNNs. One path to understanding how a neural network functions internally is to study what each of its neurons has learned to detect. One such method is called activation maximization (AM), which synthesizes an input (e.g. an image) that highly activates a neuron. Here we dramatically improve the qualitative state of the art of activation maximization by harnessing a powerful, learned prior: a deep generator network (DGN). The algorithm (1) generates qualitatively state-of-the-art synthetic images that look almost real, (2) reveals the features learned by each neuron in an interpretable way, (3) generalizes well to new datasets and somewhat well to different network architectures without requiring the prior to be relearned, and (4) can be considered as a high-quality generative method (in this case, by generating novel, creative, interesting, recognizable images).

研究动机与目标

• 通过合成偏好输入来澄清 DNN 中单个神经元已经学会检测的内容。
• 通过使用学得的自然图像先验，改进相较于 priorAM 方法的可视化真实感和可解释性。
• 展示学得的先验在不同数据集和网络架构上的泛化能力，并评估局限性。
• 探讨该方法如何反映神经元特定特征与先验诱导结构之间的关系，并讨论更广泛的应用。

提出的方法

• 使用一个深度图像生成网络（G），其训练目标是将固定编码器（E）的中间特征反演为强自然图像先验。
• 在 DGN 输入代码 y^l 中优化： y^l = argmax_y^l (Phi_h(G_l(y^l)) - lambda*||y^l||) 并使用 L2 正则化 (lambda ≈ 0.005)。
• 将优化后的编码裁剪到每个神经元的激活范围 [0, 3*sigma]，以正则化先验并提高图像质量。
• 比较来自不同编码器层（l ∈ {3,5,6,7}）训练的先验，并选择基于 fc6 的 G_6 作为默认，以获得最佳可视化。
• 通过在使用相同 G_6 先验的情况下，对在不同数据集（MIT Places、动作识别）和不同架构（GoogLeNet、ResNet）上训练的网络进行神经元可视化，以评估泛化能力。
• 评估合成的可视化是否与训练数据类别相似，以及该方法是否通过深度特征空间中的最近邻检查来记忆训练图像。

实验结果

研究问题

• RQ1 深度生成网络先验是否能够实现对 DNN 中神经元的定性、处于最前沿水平的激活最大化可视化？
• RQ2 在不重新训练生成器的情况下，学得的先验是否能在不同数据集和网络架构上泛化？
• RQ3 当可视化不同架构或隐藏神经元时，可视化质量如何变化？
• RQ4 合成的图像是反映神经元特定特征，还是主要受先验影响？
• RQ5 DGN-AM 在解释 DNN 方面有哪些更广泛的应用和局限性？

主要发现

• DGN-AM 为激活的神经元生成高度真实且可解释的图像，在可视化质量方面优于先前的激活最大化方法。
• 基于 fc6 的生成器 G_6 在测试的层中提供了最佳的可视化（l ∈ {3,5,6,7}）。
• 在对同一编码器架构的网络进行可视化时，使用在 ImageNet 上训练的先验能泛化到其他自然图像数据集（如 MIT Places），图像清晰度因架构差异而异。
• 在使用相同的 DGN 先验时，目标网络架构越偏离用于训练生成器的编码器，可视化效果越差（当 E 与 Phi 相同时效果最佳）。
• DGN-AM 可以跨层可视化隐藏神经元，常与其他可视化方法对齐，并产生更真实的色彩/纹理可视化。
• 该方法对多模态或非标准神经元特征仍具信息性，表明某些神经元学习了超出单一典型可视化的多样特征。