[论文解读] Training Neural Networks is NP-Hard in Fixed Dimension

Vincent Froese, Christoph Hertrich|arXiv (Cornell University)|Mar 29, 2023

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

该论文证明了在固定维度 d=2 的情况下，训练两层 ReLU 网络和线性阈值神经网络是 NP-难的，从而解决了长期存在的开放性问题。它证明了在四个 ReLU 网络且训练误差为零时，问题为 W[1]-难。同时，当以维度和宽度为参数时，对于凸映射，问题具有固定参数可追踪性。

ABSTRACT

We study the parameterized complexity of training two-layer neural networks with respect to the dimension of the input data and the number of hidden neurons, considering ReLU and linear threshold activation functions. Albeit the computational complexity of these problems has been studied numerous times in recent years, several questions are still open. We answer questions by Arora et al. [ICLR '18] and Khalife and Basu [IPCO '22] showing that both problems are NP-hard for two dimensions, which excludes any polynomial-time algorithm for constant dimension. We also answer a question by Froese et al. [JAIR '22] proving W[1]-hardness for four ReLUs (or two linear threshold neurons) with zero training error. Finally, in the ReLU case, we show fixed-parameter tractability for the combined parameter number of dimensions and number of ReLUs if the network is assumed to compute a convex map. Our results settle the complexity status regarding these parameters almost completely.

研究动机与目标

• 为解决训练两层 ReLU 和线性阈值神经网络的参数化复杂性方面的开放问题。
• 确定当以输入维度 d 或神经元数量 k 为参数时，训练是否为固定参数可追踪（FPT）。
• 填补神经网络训练计算复杂性图谱中的空白，特别是在低维设置下。
• 明确在零误差精确训练情况下，可 tractable 与不可 tractable 情况的边界。
• 在各种参数化下，为两层网络提供全面的复杂性分类。

提出的方法

• 通过将子集和问题（NP-完全问题）归约，证明在 d=2 且使用 ReLU 激活函数时，问题为 NP-难。
• 使用线性规划计算 ReLU 输出和的下界，从而在搜索空间中强制检测特定点。
• 采用递归搜索树算法，根据强制点动态施加约束，以限制递归深度。
• 通过分析由权重和偏置约束定义的可行多面体的维度，将递归深度限制在 O(kd)。
• 应用指数时间假说（ETH）排除 k=4 个 ReLU 且误差为零时存在亚指数时间算法的可能性。
• 通过类比的归约和约束分析，将结果扩展到线性阈值神经元。

实验结果

研究问题

• RQ1 当以输入维度 d 为参数时，2L-ReLU-NN-Train(L) 是否属于 XP 类，即是否可在 (nk)^f(d) poly(L) 时间内求解？
• RQ2 当 d 为任意常数时，2L-ReLU-NN-Train(L) 是否关于 k 固定参数可追踪，即是否可在 n^f(d) g(k,d) poly(L) 时间内求解？
• RQ3 当以 d 为参数时，零训练误差且 k=4 个 ReLU 的问题是否为 W[1]-难？
• RQ4 搜索树方法能否扩展到具有正负系数混合的网络（aj ∈ {−1,1}）？
• RQ5 当 d=2 且 k∈{2,3} 时，以 k 为参数，ReLU 网络的该情况是否属于 FPT？

主要发现

• 即使输入维度 d 固定为 2，训练两层 ReLU 网络仍是 NP-难的，解决了 Arora 等人 [ICLR’18] 提出的问题 1。
• 当 k=4 个 ReLU 且训练误差为零时，问题关于 d 为 W[1]-难，回答了 Froese 等人 [JAIR’22] 提出的开放问题。
• 对于计算凸映射的 ReLU 网络，当以 d 和 k 为参数时，问题具有固定参数可追踪性，时间复杂度为 2^{O(k^2 d)} poly(k, L)。
• 相同的难解性结果可扩展到线性阈值网络，表明在类似参数化下，问题同样为 NP-难和 W[1]-难。
• 带有强制点检测的递归搜索算法确保递归深度最多为 k(d+1)+1，从而得到一个 2^{O(k^2 d)} 时间复杂度的算法。
• 当系数为混合符号（aj ∈ {−1,1}）时，该方法失效，原因是无法检测强制点，表明搜索树方法在一般情况下存在固有局限性。