[论文解读] On Characterizing the Capacity of Neural Networks using Algebraic Topology

William H. Guss, Ruslan Salakhutdinov|arXiv (Cornell University)|Feb 13, 2018

Topological and Geometric Data Analysis参考文献 21被引用 60

一句话总结

该论文使用持续同调来量化数据复杂性，定义神经网络的拓扑容量，并提出一种拓扑引导的架构选择方法，在不同架构中观察到经验相变。

ABSTRACT

The learnability of different neural architectures can be characterized directly by computable measures of data complexity. In this paper, we reframe the problem of architecture selection as understanding how data determines the most expressive and generalizable architectures suited to that data, beyond inductive bias. After suggesting algebraic topology as a measure for data complexity, we show that the power of a network to express the topological complexity of a dataset in its decision region is a strictly limiting factor in its ability to generalize. We then provide the first empirical characterization of the topological capacity of neural networks. Our empirical analysis shows that at every level of dataset complexity, neural networks exhibit topological phase transitions. This observation allowed us to connect existing theory to empirically driven conjectures on the choice of architectures for fully-connected neural networks.

研究动机与目标

• 通过代数拓扑形式化数据集的几何复杂性，以指导架构选择。
• 引入拓扑容量，作为衡量网络表达数据拓扑能力及泛化能力的度量。
• 通过实证表征数据同调如何影响不同神经网络架构的学习。
• 提出一种拓扑架构选择方法，将数据的持续同调与最小表达能力网络联系起来。
• 展示在 OpenML 和真实数据集上的实际适用性。

提出的方法

• 采用持续同调来量化数据及决策区域的拓扑复杂性。
• 定义支撑同调 H_S(f) 并将其与分类器 f 的正决策区域相关联系。
• 建立同调泛化原理：若某架构无法实现给定的同调，则会错误分类数据子集（定理 3.1）。
• 在深度和首层宽度变化下，对全连接网络（ReLU）进行经验实验，以研究同调表达能力。
• 计算并分析 E_H^p(f, D) = min{β_p(f)/β_p(D), 1}，以评估架构表达数据同调的能力。
• 使用持续图/筛选来将数据拓扑与最小表达架构相关联，并通过推导的界限（ Eq. 3.1、Eq. 4.1）估计 h_phase。
• 在 OpenML 数据集上实际应用拓扑架构选择，通过从数据持续特征推导 h_phase 的下界来实现。

实验结果

研究问题

• RQ1 数据的同调（拓扑）复杂性如何约束神经网络的表达能力和泛化能力？
• RQ2 持续同调是否能通过预测给定数据集的最小充分容量（h_phase）来指导神经架构的选择？
• RQ3 随着数据同调增加，观察到哪些神经拓扑相变？
• RQ4 拓扑基预测在真实数据集（如 OpenML、CIFAR-10、UCI）等超越合成构造的情形中有多大程度的可迁移性？

主要发现

• 当数据拓扑变得更复杂时，神经网络在表达能力方面表现出拓扑相变。
• 存在一个相位阈值 h_phase，低于该阈值时网络在更拓扑复杂的数据上难以收敛；高于它时，收敛行为发生变化。
• 基于持续同调特征得到的 h_phase 的实证估计为架构选择提供了一个强有力的起点（在预测相位的若干情况下接近零误差）。
• 高阶同调（β1及以上）对浅层网络更难学习，且更深的网络将可学习性推向更高的同调，代价是更高的复杂性。
• CIFAR-10 及若干 UCI/OpenML 数据集显示出非平凡的持续同调，验证了拓扑度量在真实数据上的实用性。
• 该框架通过用来自持续图的拓扑容量估计来约束搜索，从而实现数据优先的架构搜索。