[论文解读] ReLU Regression: Complexity, Exact and Approximation Algorithms

Santanu Dey, Guanyi Wang+1 more|arXiv (Cornell University)|Oct 8, 2018

Machine Learning and Algorithms参考文献 12被引用 4

一句话总结

本文从复杂性角度研究ReLU回归，证明其在一般情况下为NP难，但当特征数p固定时可在O(n^p)时间内求解。本文提出一种精确的整数规划框架和一种多项式时间n-近似算法，该算法具有数值稳定性且表现出强劲的实验性能。

ABSTRACT

Solving ReLU regression problems is similar to training a neural network with one node with ReLU activation function, which aims to fit a model where the response is related to the linear combination of input feature variables. We study the ReLU regression problem from the algorithmic complexity perspective. We show that the ReLu regression is NP-hard in general, and when the number of features $p$ is fixed, there exists an algorithm that achieves the global optimal solution in $O(n^p)$ running time. We also present an integer programming (IP) framework which can produce dual bounds and feasible upper bounds. Moreover, we present a polynomial-time iterative $n$-Approximation Algorithm, which performs well in practice as demonstrated by numerical studies and can be numerically more stable than IP solutions.

研究动机与目标

• 分析ReLU回归问题的算法复杂性。
• 设计高效求解ReLU回归的精确与近似算法。
• 通过整数规划框架提供对偶界和可行上界。
• 设计一种具有强实验性能的数值稳定多项式时间近似算法。

提出的方法

• 使用计算复杂性理论证明ReLU回归在一般情况下的NP难性。
• 当特征数p固定时，设计时间复杂度为O(n^p)的精确算法。
• 将ReLU回归建模为整数规划（IP）问题，以生成对偶界和可行上界。
• 提出一种迭代的n-近似算法，运行时间多项式，且保证数值稳定性。
• 在数值实验中实现并评估近似算法，以评估其实际性能。
• 利用IP框架计算界，以支持近似解的质量评估。

实验结果

研究问题

• RQ1 求解ReLU回归问题的计算复杂性是什么？
• RQ2 当特征数固定时，能否设计出ReLU回归的精确算法？
• RQ3 整数规划框架在为ReLU回归提供对偶界和原始界方面有多有效？
• RQ4 能否设计出一种既高效又数值稳定的多项式时间近似算法？
• RQ5 n-近似算法在实际中与基于IP的解法相比性能如何？

主要发现

• ReLU回归在一般情况下为NP难，确立了其在任意输入规模下的计算不可解性。
• 当特征数p固定时，存在时间复杂度为O(n^p)的精确算法，可为低维问题提供最优解。
• 整数规划框架成功生成了对偶界和可行上界，支持对解质量的评估。
• 所提出的n-近似算法运行时间多项式，且在数值实验中表现出强劲的实验性能。
• 与基于IP的解法相比，n-近似算法在数值上更加稳定，在实际应用中具有实际优势。
• 该近似算法的近似比为n，在特定假设下为最坏情况下的最优值。