[论文解读] On the Expressive Power of Deep Polynomial Neural Networks

Joe Kileel, Matthew Trager+1 more|arXiv (Cornell University)|May 29, 2019

Tensor decomposition and applications参考文献 20被引用 34

一句话总结

本论文将深度多项式网络视为代数对象，通过网络映射定义泛函多样体，并推出维度公式、充填/瓶颈条件，以及与张量分解的联系以量化表达能力。

ABSTRACT

We study deep neural networks with polynomial activations, particularly their expressive power. For a fixed architecture and activation degree, a polynomial neural network defines an algebraic map from weights to polynomials. The image of this map is the functional space associated to the network, and it is an irreducible algebraic variety upon taking closure. This paper proposes the dimension of this variety as a precise measure of the expressive power of polynomial neural networks. We obtain several theoretical results regarding this dimension as a function of architecture, including an exact formula for high activation degrees, as well as upper and lower bounds on layer widths in order for deep polynomials networks to fill the ambient functional space. We also present computational evidence that it is profitable in terms of expressiveness for layer widths to increase monotonically and then decrease monotonically. Finally, we link our study to favorable optimization properties when training weights, and we draw intriguing connections with tensor and polynomial decompositions.

研究动机与目标

• 推动使用多项式激活来对深度非线性网络的表达能力进行严格度量。
• 将网络建模为权重到多项式的代数映射，并研究其Zariski闭包作为一个泛函多样体。
• 在高激活度下推导精确的维度公式，并给出填充外部空间的层宽界限。
• 探讨对优化的含义，并将网络表示与张量及多项式分解联系起来。

提出的方法

• 将激活rho_r(z)=z^r的多项式网络进行形式化，固定结构d=(d0,...,dh)。
• 定义从权重到齐次多项式向量的代数映射Phi_{d,r}，并研究其像F_{d,r}。
• 将F_{d,r}的Zariski闭包V_{d,r}视为一个不可约代数多样体并分析其维度。
• 推导一般维度上界及高激活度的精确维度结果（定理14）。
• 建立一个宽度瓶颈（非充填）准则（定理19）。
• 将网络与张量分解（CP、LORS-2019）联系起来，并给出充填宽度的上界（定理10）。
• 利用对称性和多齐次性研究Phi_{d,r}的结构（引理13）。
• 提供计算方法（雅可比矩阵、对多项式或有限域的反向传播）来估计dim(V_{d,r})。

实验结果

研究问题

• RQ1 由多项式网络结构诱导的泛函多样体V_{d,r 的维度是多少？
• RQ2 网络结构何时能够充填环境空间，层宽度如何影响这一点？
• RQ3 激活度r如何影响网络功能空间的维度与充填特性？
• RQ4 多项式网络与张量/多项式分解之间的联系及其对优化的含义？
• RQ5 在结构中存在哪些瓶颈会限定表达能力，无论深度或宽度如何？

主要发现

• 对于固定的r和结构d，网络的功能空间形成一个代数多样体，在高激活度下的维度可以被精确表征（定理14）。
• 一个扩展/充填准则表明如果宽度不足够大（瓶颈），网络无法充填环境空间（定理19）。
• 维度被一个结合层维度与组合因子的公式上界所约束（等式(11)）；在一个猜想下，高r时等式成立。
• 深度多项式网络与张量/多项式分解之间存在紧密联系，进而给出充填宽度的上界（定理10）。
• 使用雅可比矩阵/反向传播的计算实验证实单峰最小充填宽度以及r增大时维度的稳定性（表1-2讨论）。