[论文解读] Multifaceted Feature Visualization: Uncovering the Different Types of Features Learned By Each Neuron in Deep Neural Networks

Anh Mai Nguyen, Jason Yosinski+1 more|arXiv (Cornell University)|Feb 11, 2016

Cell Image Analysis Techniques参考文献 22被引用 168

一句话总结

本文提出多面向特征可视化（MFV），一种激活最大化技术，通过从面向特征的均值图像初始化优化，以揭示每个神经元的多种面向，从而提高图像质量并揭示更丰富的神经元表征。

ABSTRACT

We can better understand deep neural networks by identifying which features each of their neurons have learned to detect. To do so, researchers have created Deep Visualization techniques including activation maximization, which synthetically generates inputs (e.g. images) that maximally activate each neuron. A limitation of current techniques is that they assume each neuron detects only one type of feature, but we know that neurons can be multifaceted, in that they fire in response to many different types of features: for example, a grocery store class neuron must activate either for rows of produce or for a storefront. Previous activation maximization techniques constructed images without regard for the multiple different facets of a neuron, creating inappropriate mixes of colors, parts of objects, scales, orientations, etc. Here, we introduce an algorithm that explicitly uncovers the multiple facets of each neuron by producing a synthetic visualization of each of the types of images that activate a neuron. We also introduce regularization methods that produce state-of-the-art results in terms of the interpretability of images obtained by activation maximization. By separately synthesizing each type of image a neuron fires in response to, the visualizations have more appropriate colors and coherent global structure. Multifaceted feature visualization thus provides a clearer and more comprehensive description of the role of each neuron.

研究动机与目标

• 激发理解神经元可以是多面的，并且对多样化的图像类型发放信号的需求的必要性。
• 提出一种可视化神经元多重面向的方法，以更好地描述其作用。
• 提高激活最大化可视化的质量和可解释性。
• 证明更高层的神经元比低层神经元具有更大的面向多样性。
• 表明正则化与面向特定初始化在视觉呈现中可实现一致的全局结构。

提出的方法

• 引入 Multifaceted Feature Visualization (MFV) 以可视化神经元的多重面向。
• 在学习到的特征空间中对一个类别的训练集图像进行聚类，以识别不同的面向，使用 PCA、t-SNE 和 k-means。
• 对每个面向使用该面向聚类的均值图像来初始化激活最大化。
• 应用中心偏置正则化以产生视觉上连贯且集中在画面中央的对象。
• 将 MFV 的可视化结果与先前的激活最大化方法进行比较，突出颜色真实感和全局结构。

实验结果

研究问题

• RQ1 在深度神经网络中，神经元是否具有多种不同的响应面向？这些面向在各层之间如何变化？
• RQ2 面向级初始化和正则化是否可以提升激活最大化图像的可解释性和真实感？
• RQ3 更高层的神经元在面向多样性和对象组成方面与低层神经元有何不同？

主要发现

• 神经元在各层中都是多面向的特征检测器，较高层的神经元显示出更为多样的面向。
• MFV 通过分开可视化每个面向，生成具有更自然颜色和更连贯全局结构的激活最大化图像。
• 中心偏置正则化减少重复的片段并将对象居中，从而提高图像质量。
• 对隐藏单元的可视化显示从 conv3 开始面向多样性逐步增加，全连接层往往结合了高层次概念。
• 一个类别的面向可对应不同的现实世界子类型或视角，揭示丰富的内部表征。
• 在合成图像的真实感与可解释性方面，MFV 优于先前的激活最大化方法。