[论文解读] ReLU nets adapt to intrinsic dimensionality beyond the target domain.

Alexander Cloninger, Timo Klock|arXiv (Cornell University)|Aug 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 78被引用 10

一句话总结

本文证明了两层ReLU网络能够高效逼近组合函数 $f(x) = g(\phi(x))$，其中 $\phi$ 通过几何直观的映射降低输入维度。网络能够适应数据的内在维度，实现近似最优的逼近率，该速率取决于目标函数的复杂度而非输入的环境维度，从而在回归和分类任务中实现高效学习。

ABSTRACT

We study the approximation of two-layer compositions $f(x) = g(\phi(x))$ via deep ReLU networks, where $\phi$ is a nonlinear, geometrically intuitive, and dimensionality reducing feature map. We focus on two complementary choices for $\phi$ that are intuitive and frequently appearing in the statistical literature. The resulting approximation rates are near optimal and show adaptivity to intrinsic notions of complexity, which significantly extend a series of recent works on approximating targets over low-dimensional manifolds. Specifically, we show that ReLU nets can express functions, which are invariant to the input up to an orthogonal projection onto a low-dimensional manifold, with the same efficiency as if the target domain would be the manifold itself. This implies approximation via ReLU nets is faithful to an intrinsic dimensionality governed by the target $f$ itself, rather than the dimensionality of the approximation domain. As an application of our approximation bounds, we study empirical risk minimization over a space of sparsely constrained ReLU nets under the assumption that the conditional expectation satisfies one of the proposed models. We show near-optimal estimation guarantees in regression and classifications problems, for which, to the best of our knowledge, no efficient estimator has been developed so far.

研究动机与目标

• 理解ReLU网络如何逼近组合函数 $f(x) = g(\phi(x))$，其中 $\phi$ 降低维度。
• 分析当目标函数关于低维流形上的正交投影保持不变时的逼近效率。
• 建立ReLU网络适应目标函数内在复杂度而非环境输入维度的理论依据。
• 在回归和分类任务中，为稀疏约束ReLU网络上的经验风险最小化推导估计保证。

提出的方法

• 作者分析了两层ReLU网络对 $f(x) = g(\phi(x))$ 的逼近，其中 $\phi$ 是一种降维且具有几何直观性的特征映射。
• 他们考虑了两种在统计建模中常用且具有直观几何解释的 $\phi$ 的具体选择。
• 该方法建立了依赖于 $\phi$ 定义的流形内在维度的逼近速率，而非环境输入维度。
• 分析利用了ReLU网络的性质，为在低维流形上正交投影不变的函数实现了近似最优的逼近误差界。
• 该框架被应用于稀疏约束ReLU网络上的经验风险最小化，并在条件数学期望模型下提供了理论保证。

实验结果

研究问题

• RQ1 ReLU网络能否对在低维流形上正交投影不变的函数实现高效逼近？
• RQ2 ReLU网络在多大程度上适应目标函数的内在维度，而非环境输入维度？
• RQ3 对于具有几何直观 $\phi$ 的组合函数 $f(x) = g(\phi(x))$，可实现何种逼近速率？
• RQ4 在所提出的模型下，能否通过稀疏约束ReLU网络在回归和分类任务中实现近似最优估计？

主要发现

• 当 $\phi$ 映射到低维流形时，ReLU网络对函数 $f(x) = g(\phi(x))$ 实现了与环境输入维度无关的近似最优逼近速率。
• 逼近效率取决于目标函数的内在复杂度，而非输入域的维度。
• 网络忠实地适应由目标 $f$ 决定的内在维度，即使在高维输入空间中也能实现高效学习。
• 在稀疏约束ReLU网络上进行经验风险最小化，可在回归和分类问题中实现近似最优的估计保证。