[论文解读] Nonlinear Approximation and (Deep) ReLU Networks

Ingrid Daubechies, Ronald DeVore+3 more|arXiv (Cornell University)|May 5, 2019

Neural Networks and Applications参考文献 6被引用 104

一句话总结

该论文分析深度 ReLU 网络对单变量函数的表达能力，证明深度在自由结点线性样条之外仍带来近似优势，并引入特殊网络结构以证明包含性与组折叠能力。

ABSTRACT

This article is concerned with the approximation and expressive powers of deep neural networks. This is an active research area currently producing many interesting papers. The results most commonly found in the literature prove that neural networks approximate functions with classical smoothness to the same accuracy as classical linear methods of approximation, e.g. approximation by polynomials or by piecewise polynomials on prescribed partitions. However, approximation by neural networks depending on n parameters is a form of nonlinear approximation and as such should be compared with other nonlinear methods such as variable knot splines or n-term approximation from dictionaries. The performance of neural networks in targeted applications such as machine learning indicate that they actually possess even greater approximation power than these traditional methods of nonlinear approximation. The main results of this article prove that this is indeed the case. This is done by exhibiting large classes of functions which can be efficiently captured by neural networks where classical nonlinear methods fall short of the task. The present article purposefully limits itself to studying the approximation of univariate functions by ReLU networks. Many generalizations to functions of several variables and other activation functions can be envisioned. However, even in this simplest of settings considered here, a theory that completely quantifies the approximation power of neural networks is still lacking.

研究动机与目标

• 评估深度 ReLU 网络对单变量函数的近似能力，比较经典非线性方法。
• 建立具有可比参数数量的固定宽度深度 ReLU 网络能够匹配自由结点线性样条并在表达力上超越它们。
• 展示深度通过组合和自相似结构实现高效表示。
• 引入并分析保留或增强近似能力的特殊网络结构。
• 讨论对于数据拟合偏差的影响以及潜在的实际架构。

提出的方法

• 用宽度 W 和深度 L 的 ReLU 网络所实现的函数类记作 Upsilon^{W,L}，对其进行定义。
• 将 Upsilon^{W,L} 与 CPwL 函数的非线性样条类 Sigma_n 进行比较。
• 证明 Sigma_n 包含于 Upsilon^{W,L}，其深度和宽度使约 n 个拐点得以表示，使用两层特殊网络构造。
• 开发一个两层构造，通过帽函数和主拐点生成带受控拐点的 CPwL 函数。
• 扩展到 CPwL 组件的组合与求和，并分析深度如何有助于表达能力。
• 就特殊网络和标准网络中组合与求和的稳定性提供理论结果。

实验结果

研究问题

• RQ1 固定宽度的深度 ReLU 网络是否可以在可比参数预算下近似自由结点线性样条？
• RQ2 CPwL 函数的深度组合是否带来 Sigma_n 所提供表达力之外的能力？
• RQ3 深度与宽度如何互相作用以影响相对于经典非线性方法的近似能力？
• RQ4 哪些网络架构（特殊网络）可以展示具证构性的包含性和额外的表达能力？
• RQ5 在使用深度 ReLU 网络进行数据拟合时对偏差有何影响？

主要发现

• 固定宽度的 ReLU 网络用 n 参数可以在 n(W,L) 的一个常数因子内近似 Sigma_n 函数。
• Sigma_n 包含于 Upsilon^{W,L}，具有深度和宽度使大致 n 个拐点可以表示。
• 深度网络通过组合可以生成具有大量拐点的函数，超越与 n 相关的多项式增长。
• 特殊网络构造（SC 和 CC 通道）提供实现 CPwL 函数及其和/组合的框架。
• CPwL 函数的组合可以在限制宽度和深度的同时实现，并控制参数数量。
• 论文识别了自相似和三角函数样的函数类，深度 ReLU 网络可以高效地模拟它们。