[论文解读] Vector-output ReLU Neural Network Problems are Copositive Programs: Convex Analysis of Two Layer Networks and Polynomial-time Algorithms

Arda Sahiner, Tolga Ergen+2 more|arXiv (Cornell University)|Dec 24, 2020

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文证明，对两层向量输出 ReLU 神经网络进行权重衰减训练，等价于求解一个有限维的凸共正性规划问题，从而首次实现了在数据秩固定时，全局最小值的多项式时间算法。该研究揭示了神经网络优化与共正性规划之间的深刻联系，特定条件下可通过软阈值奇异值分解（SVD）获得精确解，并提出了一种紧致的共正性松弛，其行为与实际中 SGD 的表现一致。

ABSTRACT

We describe the convex semi-infinite dual of the two-layer vector-output ReLU neural network training problem. This semi-infinite dual admits a finite dimensional representation, but its support is over a convex set which is difficult to characterize. In particular, we demonstrate that the non-convex neural network training problem is equivalent to a finite-dimensional convex copositive program. Our work is the first to identify this strong connection between the global optima of neural networks and those of copositive programs. We thus demonstrate how neural networks implicitly attempt to solve copositive programs via semi-nonnegative matrix factorization, and draw key insights from this formulation. We describe the first algorithms for provably finding the global minimum of the vector output neural network training problem, which are polynomial in the number of samples for a fixed data rank, yet exponential in the dimension. However, in the case of convolutional architectures, the computational complexity is exponential in only the filter size and polynomial in all other parameters. We describe the circumstances in which we can find the global optimum of this neural network training problem exactly with soft-thresholded SVD, and provide a copositive relaxation which is guaranteed to be exact for certain classes of problems, and which corresponds with the solution of Stochastic Gradient Descent in practice.

研究动机与目标

• 理解带权重衰减的两层向量输出 ReLU 神经网络的全局优化景观。
• 识别非凸神经网络训练问题的凸半无限对偶。
• 开发可证明收敛的算法，以找到训练问题的全局最小值。
• 建立神经网络优化与共正性规划之间的理论联系。
• 刻画软阈值奇异值分解（SVD）可获得全局最优解的条件。

提出的方法

• 推导向量输出 ReLU 网络训练问题的凸半无限强对偶，证明其等价于有限维的共正性规划。
• 通过完全正定矩阵的凸包表示对偶，将神经网络与共正性优化联系起来。
• 提出一种切割平面方法求解对偶问题，一般情况下复杂度为 O(n^d poly(nc))，对于秩为 r 的数据，复杂度为 O(n^r poly(nc))。
• 引入一种共正性松弛，对某些问题类别是精确的，并且在实践中与 SGD 解的表现一致。
• 通过 Fenchel 对偶性将结果推广到一般凸损失函数，得到具有相同结构的有限维凸对偶。
• 将 Frank-Wolfe 方法应用于对偶公式，针对一般凸损失函数进行相应修改。

实验结果

研究问题

• RQ1 能否通过凸优化刻画向量输出 ReLU 神经网络训练问题的全局最小值？
• RQ2 神经网络训练与共正性规划之间的确切联系是什么？
• RQ3 在何种条件下，可通过软阈值奇异值分解（SVD）精确找到全局最优解？
• RQ4 计算复杂度如何随数据维度和秩变化？
• RQ5 是否存在一种可证明紧致的神经网络问题松弛，其行为在实践中与 SGD 一致？

主要发现

• 向量输出 ReLU 神经网络训练问题等价于一个有限维的凸共正性规划问题，建立了深度学习与共正性优化之间新颖且根本性的联系。
• 对于固定秩 r 的数据矩阵，可通过切割平面方法在多项式时间内找到全局最小值，复杂度为 O(n^r poly(nc))。
• 当数据矩阵具有低秩并满足特定结构条件时，可通过软阈值奇异值分解（SVD）可证明地获得精确的全局最优解。
• 该问题的共正性松弛对某些问题类别是精确的，并且在实验中与随机梯度下降（SGD）找到的解表现一致。
• 通过 Fenchel 对偶性，该方法可推广到任意凸损失函数，得到结构相同的有限维凸对偶。
• 对于线性激活网络，全局最小值对应于核范数正则化问题，且存在有限维的强双对偶。