[论文解读] On Expressivity and Trainability of Quadratic Networks

Fenglei Fan, Mengzhou Li+3 more|arXiv (Cornell University)|Oct 12, 2021

Model Reduction and Neural Networks参考文献 39被引用 4

一句话总结

该论文利用样条理论和代数几何，理论证明了二次神经网络相较于传统网络和ReLU激活网络具有更高的模型表达能力。论文提出了一种名为ReLinear的新颖训练策略，通过重新初始化二次权重来稳定训练过程，在CIFAR-10和KITTI等图像分类与深度估计基准上显著提升了性能。

ABSTRACT

Inspired by the diversity of biological neurons, quadratic artificial neurons can play an important role in deep learning models. The type of quadratic neurons of our interest replaces the inner-product operation in the conventional neuron with a quadratic function. Despite promising results so far achieved by networks of quadratic neurons, there are important issues not well addressed. Theoretically, the superior expressivity of a quadratic network over either a conventional network or a conventional network via quadratic activation is not fully elucidated, which makes the use of quadratic networks not well grounded. Practically, although a quadratic network can be trained via generic backpropagation, it can be subject to a higher risk of collapse than the conventional counterpart. To address these issues, we first apply the spline theory and a measure from algebraic geometry to give two theorems that demonstrate better model expressivity of a quadratic network than the conventional counterpart with or without quadratic activation. Then, we propose an effective training strategy referred to as ReLinear to stabilize the training process of a quadratic network, thereby unleashing the full potential in its associated machine learning tasks. Comprehensive experiments on popular datasets are performed to support our findings and confirm the performance of quadratic deep learning. We have shared our code in \url{https://github.com/FengleiFan/ReLinear}.

研究动机与目标

• 理论证明二次网络相较于传统网络以及ReLU激活的传统网络具有更高的模型表达能力。
• 解决由于高阶多项式输出导致的二次网络在训练过程中出现的不稳定性与崩溃风险。
• 开发一种实用且高效的训练策略，实现二次网络的稳定优化。
• 通过实证验证理论假设，并评估所提方法在多种机器学习任务中的有效性。
• 证明在现有模型（如LapDepth）中将传统神经元替换为二次神经元可带来可测量的性能提升。

提出的方法

• 利用样条理论证明：在相同架构下，二次网络能够表示比传统网络更高表达能力的函数。
• 应用代数几何中的一种度量方法，比较二次网络与ReLU激活传统网络之间的表达能力差异。
• 提出ReLinear策略，通过将二次权重矩阵重置为零并重新初始化线性权重，以稳定训练过程。
• 将二次权重重置为零，并对线性权重采用Kaiming初始化，以减少梯度爆炸与输出振荡。
• 在训练中采用标准深度学习训练协议（AdamW、学习率衰减、批量归一化），且ReLinear仅应用于二次层。
• 在图像分类（CIFAR-10、CIFAR-100）和深度估计（KITTI）任务上验证方法有效性，将ResNeXt和LapDepth中的传统神经元替换为二次神经元。

Figure 1: Illustration of why oscillation occurs in quadratic networks. The network structure is 1-10-10-10-10-1, and the activation function is ReLU. All parameters of the quadratic and conventional networks are initialized with the normal distribution $\mathcal{N}(0,\sigma^{2})$ , where $\sigma$ i

实验结果

研究问题

• RQ1 即使在相同架构下，二次网络是否能够表示传统网络或ReLU激活传统网络无法表达的函数？
• RQ2 相较于传统网络和ReLU激活模型，二次网络表达能力更强的理论机制是什么？
• RQ3 为何二次网络相较于传统网络表现出更高的训练不稳定性与崩溃风险？
• RQ4 一种简单的重初始化策略（如ReLinear）是否能有效稳定二次网络的训练，而无需修改网络架构？
• RQ5 在现有模型中将传统神经元替换为二次神经元，是否能在真实世界任务中带来可测量的性能提升？

主要发现

• 基于样条理论与代数几何的理论分析证实，二次网络相较于传统网络及ReLU激活传统网络具有更高的表达能力。
• 二次网络可用多项式规模的架构表示某些函数，而传统网络则需指数规模的架构才能实现相同近似。
• 单变量消融实验表明，权重初始化方差的微小变化会在二次网络中引发输出的巨大波动，解释了其训练不稳定性。
• 在CIFAR-10上，采用ReLinear正则化的二次网络达到95.8%的测试准确率，优于基线传统网络。
• 在KITTI深度估计基准上，Quadratic-LapDepth将Sq Rel从基线LapDepth的0.214降低至0.200，RMSE从0.458降低至0.427。
• 所提出的ReLinear策略能有效稳定训练过程，使二次网络在无需架构修改的情况下在多个任务上达到最先进性能。

Figure 2: The performance of a quadratic network trained using the proposed ReLinear method, with an observed improvement than the conventional network of the same structure. $(\gamma_{g},\gamma_{b})$ , $(\alpha_{g},\alpha_{b})$ , and $(\beta_{g},\beta_{b})$ are hyperparameters of ReLinear . As thes