[论文解读] Representational Power of ReLU Networks and Polynomial Kernels: Beyond Worst-Case Analysis

Frederic Koehler, Andrej Risteski|arXiv (Cornell University)|May 29, 2018

Model Reduction and Neural Networks参考文献 6被引用 6

一句话总结

本文在高维稀疏潜变量模型中分析了ReLU网络与多项式核的表征能力，表明两层ReLU网络可实现接近最优的统计性能，而低阶多项式（阶数 < log n）的表现则显著更差——凸显了深度网络在现实非最坏情况设定下的关键优势。

ABSTRACT

There has been a large amount of interest, both in the past and particularly recently, into the power of different families of universal approximators, e.g. ReLU networks, polynomials, rational functions. However, current research has focused almost exclusively on understanding this problem in a worst-case setting, e.g. bounding the error of the best infinity-norm approximation in a box. In this setting a high-degree polynomial is required to even approximate a single ReLU. However, in real applications with high dimensional data we expect it is only important to approximate the desired function well on certain relevant parts of its domain. With this motivation, we analyze the ability of neural networks and polynomial kernels of bounded degree to achieve good statistical performance on a simple, natural inference problem with sparse latent structure. We give almost-tight bounds on the performance of both neural networks and low degree polynomials for this problem. Our bounds for polynomials involve new techniques which may be of independent interest and show major qualitative differences with what is known in the worst-case setting.

研究动机与目标

• 理解在具有稀疏潜结构的现实非最坏情况设定下，ReLU网络与多项式核的相对统计性能。
• 超越传统最坏情况逼近误差界（例如在盒子上的L∞范数），转向更贴近真实数据分布的实际平均情况分析。
• 形式化一个仅在相关领域（例如决策边界附近）逼近有意义的设定，受现实机器学习应用的启发。
• 在该稀疏回归模型中，为多项式核与ReLU网络可实现的统计误差提供紧致界。
• 证明低阶多项式无法捕捉ReLU函数在相关区域的结构，而浅层ReLU网络则能成功实现。

提出的方法

• 形式化一个生成模型，其中数据X是稀疏潜向量Z的噪声线性变换，标签Y关于Z是线性的。
• 分析多项式预测器与ReLU网络在该模型中逼近真实条件期望E[Y|X]的统计误差。
• 利用复分析与解析延拓的Bernstein定理，通过泰勒级数在椭圆盘上的收敛速率，界定多项式逼近误差。
• 通过对数变换构造ReLU的光滑逼近，并应用多项式逼近理论，界定在感兴趣区间上的误差。
• 通过分析泰勒系数的解析域与衰减率，推导出ReLU多项式逼近的定量误差界。
• 将逼近理论中的误差界与统计估计理论相结合，表明ReLU网络可实现接近最优的速率，而低阶多项式则不能。

实验结果

研究问题

• RQ1 在高维稀疏潜变量回归模型中，ReLU网络能否实现接近最优的统计性能？
• RQ2 在相同模型中，低阶多项式核的性能与ReLU网络相比如何，特别是在相关输入区域的逼近误差方面？
• RQ3 在该设定中，多项式核实现接近最优性能所需的最小阶数是多少？
• RQ4 标准最坏情况逼近界（例如在盒子上的L∞范数）是否无法捕捉多项式核在真实数据驱动设定下的真实表征能力？
• RQ5 复逼近理论的技术能否用于推导非光滑函数（如ReLU）在数据相关区域的更紧致、更相关的多项式逼近误差界？

主要发现

• 两层ReLU网络在稀疏潜变量回归模型中实现了接近最优的统计误差率。
• 阶数小于log n的多项式预测器实现的统计速率显著劣于最优，趋近于‘平凡’速率。
• 阶数为(log n)²的多项式预测器可实现接近最优的统计性能，表明其有效性存在一个尖锐的阶数阈值。
• 在度数为Ω(log n)的多项式逼近中，所需单项式的数量以n^Ω(log n)的速率超多项式增长，使此类优化在实践中不可行。
• 当使用度数为d的多项式在宽度为τ的区间上逼近ReLU时，多项式逼近误差被限制在O(e^{-√(τd)/4})，表明在d上呈指数收敛。
• 该分析揭示了与最坏情况逼近的定性差异：即使在最坏情况范数下表现良好，多项式在相关区域仍可能极不准确，凸显了领域感知分析的必要性。