[论文解读] Understanding Neural Networks Through Deep Visualization

Jason Yosinski, Jeff Clune+3 more|arXiv (Cornell University)|Jun 22, 2015

Generative Adversarial Networks and Image Synthesis参考文献 10被引用 1,469

一句话总结

本文介绍了两个开源工具，以提升深度神经网络的可解释性：(1) 实时可视化对实时输入的特征激活；(2) 通过正则化优化生成可解释的特征可视化。其主要贡献在于利用新颖的正则化技术，显著提升了特征可视化的清晰度与真实性，从而更深入地揭示卷积神经网络（CNN）如何检测物体与模式。

ABSTRACT

Recent years have produced great advances in training large, deep neural networks (DNNs), including notable successes in training convolutional neural networks (convnets) to recognize natural images. However, our understanding of how these models work, especially what computations they perform at intermediate layers, has lagged behind. Progress in the field will be further accelerated by the development of better tools for visualizing and interpreting neural nets. We introduce two such tools here. The first is a tool that visualizes the activations produced on each layer of a trained convnet as it processes an image or video (e.g. a live webcam stream). We have found that looking at live activations that change in response to user input helps build valuable intuitions about how convnets work. The second tool enables visualizing features at each layer of a DNN via regularized optimization in image space. Because previous versions of this idea produced less recognizable images, here we introduce several new regularization methods that combine to produce qualitatively clearer, more interpretable visualizations. Both tools are open source and work on a pre-trained convnet with minimal setup.

研究动机与目标

• 为解决深度神经网络中可解释性不足的问题，特别是理解中间层表征的困难。
• 开发交互式工具，帮助研究人员和实践者直观理解训练好的卷积神经网络（CNN）对输入的响应机制。
• 通过引入新型正则化方法，提升特征可视化质量，生成更具可解释性与真实感的已学习特征可视化结果。
• 通过揭示已学习特征的真实不变性与局部性，实现更有效的调试、模型优化与迁移学习。
• 探索利用判别性训练网络进行生成建模的潜力，通过利用已学习的先验与特征表征。

提出的方法

• 第一个工具可在处理实时网络摄像头输入或静态图像时，实时可视化预训练CNN各层的特征激活。
• 第二个工具在图像空间中使用正则化梯度上升法，优化出能最大程度激活网络中特定神经元或通道的输入图像。
• 引入了新型正则化技术（如总变差、色彩抖动、空间平滑）以约束优化过程，生成更真实、更具可解释性的可视化结果。
• 该方法结合多种正则化项，抑制噪声并保持结构一致性，从而生成更清晰的特征检测器（如人脸、车轮、眼睛等）。
• 该方法可同时可视化在训练集中激活最强的图像与最佳代表神经元偏好刺激的优化合成图像。
• 这些工具以开源软件形式实现，兼容标准预训练模型（如AlexNet），且设置简单。

实验结果

研究问题

• RQ1 如何提升深度卷积神经网络中中间特征表征的可解释性？
• RQ2 通过正则化优化可生成何种类型的可视化结果，以揭示有意义且真实存在的特征，而非噪声？
• RQ3 训练好的CNN中的特征检测器如何响应自然图像中的部分结构？其表征是局部化还是跨通道分布的？
• RQ4 能否通过在图像空间施加先验与类特定激活，利用判别性训练的网络进行真实图像生成？
• RQ5 特征可视化在多大程度上揭示了深层网络中的不变性与层次化组合结构？

主要发现

• 新型正则化方法相比以往方法，显著提升了已学习特征（如人脸、眼睛、车轮、毛发图案等）的可视化清晰度与可解释性。
• 深层网络（如conv5）中的特征检测器对特定自然部件（如人脸、车轮、眼睛）产生响应，表明其表征具有一定程度的局部性。
• 部分神经元对多个物体部件产生响应（如人脸检测器也对毯子上的花朵产生响应），揭示了复杂且非排他性的特征交互。
• 可视化结果表明，更高层学习到的模式日益复杂且多样化，且在最后一个卷积层与第一个全连接层之间表现出显著的多样性跃迁。
• 即使使用简单的手工编码先验，优化后的图像仍表现出长程空间依赖性（如特征跨度超过100像素的甲虫），表明判别性模型编码了类似生成模型的结构。
• 结果表明，当与强而学习到的图像空间先验结合时，判别性训练的网络可被重新用于生成建模。