[论文解读] Polynomial Regression As an Alternative to Neural Nets

Xi Cheng, Bohdan B. Khomtchouk+2 more|arXiv (Cornell University)|Jun 13, 2018

Neural Networks and Applications参考文献 22被引用 73

一句话总结

本文认为神经网络本质上相当于逐层提高的多项式次数的多项式回归，其度数随层次增加，并且表明多项式回归（PR）在许多数据集上可以匹配甚至超越神经网络，提出 polyreg 作为一种实用替代方案。

ABSTRACT

Despite the success of neural networks (NNs), there is still a concern among many over their "black box" nature. Why do they work? Here we present a simple analytic argument that NNs are in fact essentially polynomial regression models. This view will have various implications for NNs, e.g. providing an explanation for why convergence problems arise in NNs, and it gives rough guidance on avoiding overfitting. In addition, we use this phenomenon to predict and confirm a multicollinearity property of NNs not previously reported in the literature. Most importantly, given this loose correspondence, one may choose to routinely use polynomial models instead of NNs, thus avoiding some major problems of the latter, such as having to set many tuning parameters and dealing with convergence issues. We present a number of empirical results; in each case, the accuracy of the polynomial approach matches or exceeds that of NN approaches. A many-featured, open-source software package, polyreg, is available.

研究动机与目标

• 展示理论上的 NN ↔ PR 对应关系，并解释为何神经网络在跨层时表现得像更高次的多项式。
• 证明跨层增加的多项式次数可以解释神经网络中的收敛性和过拟合问题。
• 提供实证证据表明 PR 在多样化数据集上可以匹配或超过神经网络。
• 提供实际指南和开源工具（polyreg），以将 PR 作为神经网络的替代方案。
• 讨论在神经网络背景下关于多重共线性与正则化的含义。

提出的方法

• 提供非正式的数学论证，说明神经网络激活近似多项式回归，且次数随层增加。
• 援引 Stone–Weierstrass 定理来论证激活函数可以被多项式近似，从而使神经网络呈现出 PR 行为。
• 将 ReLU 视为分段多项式，导出分段多项式回归（PPR）的观点。
• 在多个数据集上以 polyreg 为例，实证比较 PR 与神经网络，报告平均绝对预测误差（MAPE）或正确比例（PCC）。
• 使用方差膨胀因子（VIF）考察神经网络各层之间的多重共线性，并解读对收敛性与正则化的影响。

实验结果

研究问题

• RQ1 是否存在在典型前馈网络中成立的具体 NN ↔ PR 对应关系？
• RQ2 在神经网络中有效的多项式次数是否会从一层到另一层增加，这对学习和收敛有何影响？
• RQ3 在多种数据集上，具有适当多项式特征的 PR 是否能够达到或超过神经网络的性能？
• RQ4 从 NN ↔ PR 视角来看，对神经网络中的多重共线性、收敛性与正则化有何影响？

主要发现

• 可以将神经网络视为一种多项式回归形式，所逼近的多项式次数在每个隐藏层增加时增大。
• 激活函数可以被多项式近似，意味着神经网络本质上实现了 PR；ReLU 是一个分段多项式，导致分段多项式回归的解释。
• PR 常常在多样化数据集上匹配或超过神经网络的性能，包括 Census wages（人口普查工资）、song year prediction、concrete strength、letter recognition、NYC taxi duration、forest cover、MOOCs certification、Crossfit rankings、cancer genomics、MNIST、以及 political election data。
• 神经网络各层中的多重共线性随深度增加而增大，类似于高阶 PR，提示逐层检查与正则化以缓解收敛问题。
• polyreg 开源软件包提供实现 PR 和与 NN 方法比较的实用工具。