[论文解读] Visualizing the PHATE of Neural Networks

Scott Gigante, Adam S. Charles+2 more|arXiv (Cornell University)|Aug 7, 2019

Neural Networks and Applications被引用 12

一句话总结

本文提出多切片PHATE（M-PHATE），一种新颖的可视化方法，可揭示神经网络隐藏表征在训练过程中的动态几何演化。通过捕捉隐藏单元中动态结构变化与社区组织，而无需依赖验证数据，M-PHATE在揭示学习动态方面优于标准降维方法，能够可视化持续学习中的灾难性遗忘现象以及泛化过程中隐藏单元的异质性。

ABSTRACT

Understanding why and how certain neural networks outperform others is key to guiding future development of network architectures and optimization methods. To this end, we introduce a novel visualization algorithm that reveals the internal geometry of such networks: Multislice PHATE (M-PHATE), the first method designed explicitly to visualize how a neural network's hidden representations of data evolve throughout the course of training. We demonstrate that our visualization provides intuitive, detailed summaries of the learning dynamics beyond simple global measures (i.e., validation loss and accuracy), without the need to access validation data. Furthermore, M-PHATE better captures both the dynamics and community structure of the hidden units as compared to visualization based on standard dimensionality reduction methods (e.g., ISOMAP, t-SNE). We demonstrate M-PHATE with two vignettes: continual learning and generalization. In the former, the M-PHATE visualizations display the mechanism of catastrophic forgetting which is a major challenge for learning in task-switching contexts. In the latter, our visualizations reveal how increased heterogeneity among hidden units correlates with improved generalization performance. An implementation of M-PHATE, along with scripts to reproduce the figures in this paper, is available at https://github.com/scottgigante/M-PHATE.

研究动机与目标

• 开发一种可视化方法，以捕捉神经网络表征在整个训练过程中的内部几何演化。
• 克服标准降维技术（如t-SNE和ISOMAP）在揭示隐藏单元中动态结构变化方面的局限性。
• 在不依赖验证数据的前提下提供对学习动态的洞察，实现训练过程中的分析。
• 研究隐藏单元组织方式与模型性能之间的关联，特别是在持续学习和泛化中的表现。
• 提供一种工具，揭示隐藏表征中的社区结构与动态变化，以提升模型可解释性。

提出的方法

• M-PHATE将PHATE（基于热扩散的非线性降维潜力）算法扩展至多切片数据，将多个训练时间点的隐藏表征建模为一系列切片。
• 构建一个多切片图，其中节点代表不同训练步长的隐藏单元，边通过基于热扩散的距离度量编码表征之间的相似性。
• 通过优化联合嵌入，同时保留时间切片之间的局部与全局结构，确保时间连续性与几何关系。
• 使用基于扩散的核函数计算隐藏表征之间的成对相似性，从而稳健捕捉非线性流形结构。
• 将所有时间切片联合嵌入低维空间，同时保持时间对齐并保留隐藏单元社区的演化过程。
• 可视化直接从训练数据和隐藏激活计算得出，无需访问验证集或标签。

实验结果

研究问题

• RQ1 神经网络的隐藏表征在训练过程中如何随时间演化？隐藏单元空间中发生了哪些结构变化？
• RQ2 M-PHATE在多大程度上能够揭示持续学习场景中灾难性遗忘等机制？
• RQ3 隐藏单元的异质性与模型泛化性能之间存在何种关联？
• RQ4 M-PHATE在捕捉隐藏表征中的动态结构与社区结构方面，是否优于标准可视化技术（如t-SNE和ISOMAP）？
• RQ5 在不使用验证数据的情况下，能够获得关于模型训练动态的哪些新见解？

主要发现

• M-PHATE成功可视化了持续学习中灾难性遗忘的机制，展示了随着新任务的学习，早期任务表征如何退化。
• 该方法揭示了隐藏单元异质性越高，泛化性能越优，表明结构多样性可作为稳健学习的代理指标。
• 与t-SNE和ISOMAP相比，M-PHATE更有效地捕捉隐藏单元的动态变化与社区结构，尤其在追踪时间演化方面表现更优。
• 可视化提供了超越损失和准确率等全局指标的详细、直观的训练动态总结，实现了更深层次的可解释性。
• 该方法无需验证数据即可运行，适用于训练过程中的实时监控与分析。
• M-PHATE已开源，包含可复现论文中所有图表的脚本。