[论文解读] $\Pi-$nets: Deep Polynomial Neural Networks

Grigorios G. Chrysos, Stylianos Moschoglou+4 more|arXiv (Cornell University)|Mar 8, 2020

Advanced Neural Network Applications参考文献 62被引用 4

一句话总结

本文提出 $Π$-Nets，一种新型的深度卷积神经网络，通过专用的跳跃连接表达输入的高阶多项式函数，从而在不依赖非线性激活函数的情况下实现强大的表征学习。该方法在图像生成与分类任务中达到最先进性能，甚至在参数更少的情况下表现更优，并通过多项式表达能力解释了 StyleGAN 等模型成功的原因。

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) is currently the method of choice both for generative, as well as for discriminative learning in computer vision and machine learning. The success of DCNNs can be attributed to the careful selection of their building blocks (e.g., residual blocks, rectifiers, sophisticated normalization schemes, to mention but a few). In this paper, we propose $\\Pi$-Nets, a new class of DCNNs. $\\Pi$-Nets are polynomial neural networks, i.e., the output is a high-order polynomial of the input. $\\Pi$-Nets can be implemented using special kind of skip connections and their parameters can be represented via high-order tensors. We empirically demonstrate that $\\Pi$-Nets have better representation power than standard DCNNs and they even produce good results without the use of non-linear activation functions in a large battery of tasks and signals, i.e., images, graphs, and audio. When used in conjunction with activation functions, $\\Pi$-Nets produce state-of-the-art results in challenging tasks, such as image generation. Lastly, our framework elucidates why recent generative models, such as StyleGAN, improve upon their predecessors, e.g., ProGAN.

研究动机与目标

• 通过多项式函数逼近构建具有更强表征能力的新一类深度神经网络。
• 通过将跳跃连接建模为诱导更高阶多项式行为的方式，形式化解释近期生成模型（如 StyleGAN）成功的原因。
• 证明多项式网络可在无需非线性激活函数的情况下，在生成与判别任务中均实现优异性能。
• 通过专用跳跃连接结合张量分解，实现高阶多项式的高效参数化。
• 表明通过仅进行少量架构修改，即可用 $Π$-Net 模块替换标准层，显著提升现有架构的性能。

提出的方法

• 核心机制采用一种特殊的跳跃连接，使网络输出成为输入的高阶多项式，避免直接参数化多项式时的参数爆炸问题。
• 架构基于来自结构化张量分解的张量因子构建，高效表示多项式项。
• 通过跳跃连接实现的组合式多项式展开，推广了标准深度网络范式，取代了激活函数。
• 该框架可应用于判别任务（如图像分类）与生成任务（如 GAN），且仅需极少的架构修改。
• 该方法扩展至基于图的任务，使用螺旋卷积，将多项式层应用于网格与图信号。
• 引入一种即插即用的算子 ProdPoly，可用于将现有模型（如 ResNet 或 GNN）升级为具有多项式表达能力的网络。

实验结果

研究问题

• RQ1 通过利用多项式函数逼近，深度神经网络是否可在不使用非线性激活函数的情况下实现优异性能？
• RQ2 StyleGAN 等模型中的跳跃连接如何促进生成性能的提升？是否可将其形式化为多项式展开？
• RQ3 能否在不引起参数过度增长的前提下，高效参数化深度网络中的高阶多项式表示？
• RQ4 通过用多项式对应层替换标准层，现有最先进模型的性能可被提升到何种程度？
• RQ5 多项式表达能力是否能在图像、音频与 3D 网格等多样化信号上均提升性能？

主要发现

• Prodpoly-ResNet50 在 Top-5 验证误差上达到 6.358%，优于标准 ResNet50 的 6.838%，且模型大小与计算量仅略有增加。
• 在 3D 网格自编码任务中，ProdPoly（完整）模型的重建误差为 0.474 mm，优于先前方法如 SpiralGNN（0.635 mm）与 MoNet（0.583 mm）。
• 即使不使用激活函数，基于 Prodpoly 的模型在网格表示学习中显著优于当前最先进图学习算子，重建误差更低，推理速度相当。
• 所提出的 $Π$-Net 框架在图像生成、分类与音频任务中均实现性能提升，且仅通过极少的架构改动即获得一致的性能增益。
• 该方法解释了 StyleGAN 相较于 ProGAN 的成功源于风格注入层诱导的更高阶多项式行为。
• 该框架支持即插即用式升级，例如可将 ResNet 或 GNN 转换为多项式网络，并实现可测量的性能提升。