[论文解读] Probing neural networks with t-SNE, class-specific projections and a guided tour

Christopher Hoyt, Art B. Owen|arXiv (Cornell University)|Jul 26, 2021

Neural Networks and Applications被引用 6

一句话总结

本文通过引入类别特定投影和t-SNE可视化，逐层探查深度神经网络，揭示特征学习过程中类内结构的演化过程。研究发现，早期层通常能保留类内双峰子结构（例如，包和凉鞋的类型），尽管分类准确率很高，这种结构在后期层中可能减弱或消失。为此，本文提出一种基于这些投影的引导式可视化框架，实现动态可视化。

ABSTRACT

We use graphical methods to probe neural nets that classify images. Plots of t-SNE outputs at successive layers in a network reveal increasingly organized arrangement of the data points. They can also reveal how a network can diminish or even forget about within-class structure as the data proceeds through layers. We use class-specific analogues of principal components to visualize how succeeding layers separate the classes. These allow us to sort images from a given class from most typical to least typical (in the data) and they also serve as very useful projection coordinates for data visualization. We find them especially useful when defining versions guided tours for animated data visualization.

研究动机与目标

• 开发用于推理过程中探查深度神经网络的图形化工具，重点关注特征在各层间的演化过程。
• 识别并可视化类内子结构（例如包或凉鞋的子类型），这些结构可能在后期层中消失。
• 创建可复现、可解释的可视化技术，超越标准t-SNE，通过使用类别特定的投影向量实现。
• 实现中间层表示的动态、引导式巡游，以提升对特征变换过程的可解释性。
• 比较从随机初始化训练与迁移学习训练的网络，揭示其在早期层组织结构上的差异。

提出的方法

• 将t-SNE应用于中间层激活，可视化网络深度范围内的聚类和类别分离情况。
• 定义类别特定的投影向量，类似于主成分，按类别训练以投影数据并揭示内部结构。
• 对所有类别归一化类别特定得分，以实现图像典型性的可比性排序。
• 利用这些投影创建引导式巡游——在信息量丰富的投影对之间插值，实现动画可视化。
• 比较从随机初始化训练的网络（CIFAR-10/VGG）与通过ImageNet迁移学习训练的网络（Fashion-MNIST/ResNet50）。
• 逐层分析类别特定投影的直方图，检测双峰或偏态分布，以识别子群体。

实验结果

研究问题

• RQ1 在训练好的神经网络中，类内结构（如图像的子类型，例如平底与高跟凉鞋）如何在各层间演化？
• RQ2 为何某些在早期层中可见的子结构即使在最终分类准确率很高的情况下，也会在后期层中消失？
• RQ3 类别特定投影在揭示比标准主成分或仅使用t-SNE更丰富的结构方面，其信息量有多大？
• RQ4 从随机初始化训练的网络与通过迁移学习微调的网络在早期层组织结构上存在哪些差异？
• RQ5 基于类别特定投影的引导式巡游能否提供更具可解释性和聚焦性的特征变换可视化？

主要发现

• t-SNE可视化显示，类内聚类（如包或凉鞋的独立群体）可能在早期层中出现，但在最终层中往往消失，即使测试准确率很高。
• 类别特定投影在中间层揭示了包（从第27层开始）和凉鞋（早于包）的双峰分布，表明同一类别内存在两种不同的图像类型。
• 包和凉鞋的双峰结构在后期层中变得不那么明显，仅在最终层间隙才完全闭合，表明子类型在后期阶段发生合并。
• 包和凉鞋的最终层直方图显示双峰性减弱，但仍能区分极端样本（例如平底与高跟凉鞋），表明残留结构依然存在。
• 网络表现出神经坍缩的变体，其聚类呈椭球形而非球形，类间夹角初始低于90°，在深层网络中逐渐增加至90°。
• 通过迁移学习训练的网络（如Fashion-MNIST上的ResNet50）在t-SNE图中比从随机初始化训练的网络（如CIFAR-10上的VGG）更早展现出结构化的分支。