[论文解读] Tropical Geometry of Deep Neural Networks

Liwen Zhang, Gregory Naitzat+1 more|arXiv (Cornell University)|May 18, 2018

Polynomial and algebraic computation参考文献 16被引用 32

一句话总结

本文提出了一种基于热带几何的框架，用于分析深度ReLU神经网络的分段线性结构，表明每一层的行为对应于一个热带有理映射。主要贡献是通过平行多面体和闵可夫斯基和推导出线性区域数量的紧致上界，揭示了最大线性区域数随各层二项式系数的乘积增长。

ABSTRACT

We establish, for the first time, connections between feedforward neural networks with ReLU activation and tropical geometry --- we show that the family of such neural networks is equivalent to the family of tropical rational maps. Among other things, we deduce that feedforward ReLU neural networks with one hidden layer can be characterized by zonotopes, which serve as building blocks for deeper networks; we relate decision boundaries of such neural networks to tropical hypersurfaces, a major object of study in tropical geometry; and we prove that linear regions of such neural networks correspond to vertices of polytopes associated with tropical rational functions. An insight from our tropical formulation is that a deeper network is exponentially more expressive than a shallow network.

研究动机与目标

• 使用热带代数开发一个几何框架，以分析深度ReLU神经网络的分段线性结构。
• 利用热带有理映射和多面体几何，刻画深度网络中线性区域的数量。
• 基于逐层组合计数，推导出深度网络中线性区域数量的上界。
• 建立神经网络架构与热带凸几何之间的联系，特别是平行多面体和牛顿多面体。
• 通过热带代数为理解深度网络的表征能力与复杂性提供理论基础。

提出的方法

• 使用最大-加法代数，将每个ReLU神经网络层表示为一个热带有理映射，其中激活函数对应于热带加法和乘法。
• 通过线段的闵可夫斯基和（平行多面体）在牛顿多面体空间中建模每一层的输出为一个热带多项式。
• 利用热带有理映射的凸度来量化线性区域的数量，定义为该映射牛顿多面体的顶点数。
• 应用热带幂和多面体运算的性质，将层的复合分解为平行多面体的加权闵可夫斯基和。
• 利用以下事实：当热带有理映射由单项式组成时，其牛顿多面体是一个平行多面体，从而实现组合计数。
• 通过每层神经元数量的二项式系数，推导出线性区域数量的递归上界。

实验结果

研究问题

• RQ1 如何利用热带几何对深度ReLU神经网络的分段线性结构进行建模与分析？
• RQ2 深度ReLU网络最多能形成多少个线性区域？这一数量如何依赖于网络架构？
• RQ3 平行多面体和闵可夫斯基和的组合性质如何与深度网络的表征能力相关联？
• RQ4 能否利用热带代数和多面体几何对深度网络中的线性区域数量进行界定？
• RQ5 牛顿多面体及其顶点在刻画神经网络分段线性函数复杂性方面起什么作用？

主要发现

• 对于输入维数为 $ d $、具有 $ n_l $ 个神经元的单个ReLU层，其线性区域数量的上界为 $ inom{n_l}{0} + inom{n_l}{1} + inom{n_l}{2} + inom{n_l}{3} + inom{n_l}{d} $，假设 $ n_l \to d $。
• 对于具有 $ L $ 个层的深度网络，总线性区域数的上界为各层二项式系数的乘积：$ \tilde{\nu}_c(\nu) \triangleq \tilde{\nu}_c(\nu^{(1)}) \times \tilde{\nu}_c(\nu^{(2)}) \times \tilde{\nu}_c(\nu^{(3)}) \times \tilde{\nu}_c(\nu^{(4)}) \times \tilde{\nu}_c(\nu^{(5)}) $，其中每个 $ \tilde{\nu}_c(\nu^{(l)}) \triangleq \tilde{\nu}_c(\nu^{(l-1)}) \times \binom{n_l}{0} + \binom{n_l}{1} + \binom{n_l}{2} + \binom{n_l}{3} + \binom{n_l}{d} $。
• 由ReLU层构成的热带有理映射的牛顿多面体是一个平行多面体，即对应于映射中单项式的线段的闵可夫斯基和。
• 热带有理映射的凸度等于其牛顿多面体的顶点数，该数值对应于网络中线性区域的数量。
• 在假设网络处于一般位置且所有神经元以非退化方式激活的前提下，线性区域数量的上界是紧致的。
• 线性区域数量的递归上界通过热带映射的复合推导得出，其中每一层的复杂度乘以先前层的复杂度。