[论文解读] Neural Persistence: A Complexity Measure for Deep Neural Networks Using Algebraic Topology

Bastian Rieck, Matteo Togninalli+5 more|arXiv (Cornell University)|Feb 22, 2019

Topological and Geometric Data Analysis被引用 34

一句话总结

本文提出神经持久性（neural persistence），一种基于代数拓扑方法应用于加权分层图的新型深度神经网络复杂度度量。它量化网络结构复杂度，反映如丢弃法（dropout）和批量归一化（batch normalization）等既定训练实践，并支持一种停止准则，可在保持验证准确率的同时减少训练时间。

ABSTRACT

While many approaches to make neural networks more fathomable have been proposed, they are restricted to interrogating the network with input data. Measures for characterizing and monitoring structural properties, however, have not been developed. In this work, we propose neural persistence, a complexity measure for neural network architectures based on topological data analysis on weighted stratified graphs. To demonstrate the usefulness of our approach, we show that neural persistence reflects best practices developed in the deep learning community such as dropout and batch normalization. Moreover, we derive a neural persistence-based stopping criterion that shortens the training process while achieving comparable accuracies as early stopping based on validation loss.

研究动机与目标

• 开发一种独立于输入数据的深度神经网络结构复杂度度量。
• 识别并量化与深度学习最佳实践相关的架构特性。
• 基于神经持久性构建一种训练停止准则，以减少训练时间而不损失模型准确率。

提出的方法

• 将神经网络表示为加权分层图，其中层为层级，权重为学习参数。
• 应用拓扑数据分析中的持久同调（persistent homology）计算神经持久性，作为结构复杂度的度量。
• 利用持久图（persistence diagram）的特征——特别是拓扑特征的存活时间——定义神经持久性度量。
• 训练模型并在优化过程中监控神经持久性，以检测收敛。
• 基于神经持久性稳定时推导停止规则，表明架构学习已充分完成。
• 以验证损失作为基准，与标准早停方法进行对比验证。

实验结果

研究问题

• RQ1 神经持久性能否有效捕捉深度神经网络架构的结构复杂度？
• RQ2 神经持久性是否与如丢弃法（dropout）和批量归一化（batch normalization）等既定训练技术相关？
• RQ3 基于神经持久性的停止准则能否在保持模型性能的同时减少训练时间？

主要发现

• 神经持久性成功反映了深度学习中的已知最佳实践，如使用丢弃法（dropout）和批量归一化（batch normalization），表明其对有意义的架构设计选择具有敏感性。
• 基于神经持久性的停止准则相比基于验证损失的早停方法，可显著减少训练时间，同时达到相当的测试准确率。
• 神经持久性在训练过程中比验证损失更早趋于稳定，从而实现更早的收敛检测。
• 该方法提供了一种与数据无关的网络复杂度度量，为架构行为提供了超越输入依赖性分析的洞察。