[论文解读] Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time

Burak Bartan, Mert Pilancı|arXiv (Cornell University)|Jan 7, 2021

Sparse and Compressive Sensing Techniques参考文献 41被引用 5

一句话总结

该论文提出了一种全多项式时间的凸优化框架，用于使用半定规划（SDP）训练具有二次多项式激活函数的两层神经网络。证明了半定提升可得到精确的全局解，并表明正则化选择在决定计算可解性方面起关键作用——权重衰减为NP难问题，而其他凸惩罚项则可实现多项式时间优化。

ABSTRACT

The training of two-layer neural networks with nonlinear activation functions is an important non-convex optimization problem with numerous applications and promising performance in layerwise deep learning. In this paper, we develop exact convex optimization formulations for two-layer neural networks with second degree polynomial activations based on semidefinite programming. Remarkably, we show that semidefinite lifting is always exact and therefore computational complexity for global optimization is polynomial in the input dimension and sample size for all input data. The developed convex formulations are proven to achieve the same global optimal solution set as their non-convex counterparts. More specifically, the globally optimal two-layer neural network with polynomial activations can be found by solving a semidefinite program (SDP) and decomposing the solution using a procedure we call Neural Decomposition. Moreover, the choice of regularizers plays a crucial role in the computational tractability of neural network training. We show that the standard weight decay regularization formulation is NP-hard, whereas other simple convex penalties render the problem tractable in polynomial time via convex programming. We extend the results beyond the fully connected architecture to different neural network architectures including networks with vector outputs and convolutional architectures with pooling. We provide extensive numerical simulations showing that the standard backpropagation approach often fails to achieve the global optimum of the training loss. The proposed approach is significantly faster to obtain better test accuracy compared to the standard backpropagation procedure.

研究动机与目标

• 开发一种针对具有多项式激活函数的两层神经网络的全局最优凸优化公式。
• 证明半定提升可对非凸训练问题提供精确重述。
• 分析正则化在决定计算复杂度方面的作用，表明权重衰减会导致NP难问题。
• 将凸优化公式扩展至多种架构，包括向量输出、卷积层和池化层。
• 证明所提出方法在测试准确率和收敛速度方面优于标准反向传播算法。

提出的方法

• 利用凸对偶性和S-过程，推导出具有多项式激活函数的两层网络的等价半定规划（SDP）。
• 提出一种神经分解方法，用于从提升空间中的SDP解中恢复原始网络权重。
• 对多项式激活使用$\mathbb{S}^{(d+1)\times(d+1)}$的提升参数化，对二次激活使用$\mathbb{S}^{d\times d}$的提升参数化。
• 证明凸SDP公式与原始非凸问题具有相同的全局最优解集。
• 将该框架应用于任意凸损失函数，包括平方损失、Huber损失和$\ell_1$范数损失。
• 使用SCS求解器与CVXPY进行数值实验，实现对凸规划问题的高效求解。

实验结果

研究问题

• RQ1 具有多项式激活函数的两层神经网络能否在全多项式时间内实现全局优化？
• RQ2 正则化在神经网络训练计算可解性中起什么作用？
• RQ3 半定提升能否对多项式激活的非凸训练问题提供精确重述？
• RQ4 该凸优化公式能否扩展至具有向量输出、卷积层和池化层的网络架构？
• RQ5 与标准反向传播相比，该凸优化方法在测试准确率和收敛速度方面的表现如何？

主要发现

• 所提出的半定规划（SDP）公式与原始非凸神经网络训练问题具有相同的全局最优解集。
• 只要正则化是凸且可计算的，全局优化即可在输入维度和样本数量的全多项式时间内实现。
• 权重衰减正则化会导致NP难问题，而其他凸惩罚项则可实现多项式时间求解。
• 在credit approval和ionosphere等基准数据集上，该方法在测试准确率和收敛速度方面显著优于标准反向传播算法。
• 最优神经元数量$m^*$由正则化系数$\beta$控制，$m^*$随$\beta$增大而减小。
• 多项式激活中二次项系数$a$对分类准确率影响最大，而常数项系数$c$的影响可忽略不计。