[论文解读] Quantile regression with deep ReLU Networks: Estimators and minimax rates

Oscar Hernán Madrid Padilla, Wesley Tansey+1 more|arXiv (Cornell University)|Oct 16, 2020

Statistical Methods and Inference参考文献 56被引用 7

一句话总结

本文为使用深度ReLU神经网络的分位数回归建立了理论保证，表明在假设最少的情况下，其能够实现估计条件分位数的极小极大最优速率。文中推导了依赖于网络深度、宽度和逼近误差的估计误差上界，证明了对于Hölder复合函数和Besov类函数，即使在重尾误差分布下，该方法仍具有最优性。

ABSTRACT

Quantile regression is the task of estimating a specified percentile response, such as the median, from a collection of known covariates. We study quantile regression with rectified linear unit (ReLU) neural networks as the chosen model class. We derive an upper bound on the expected mean squared error of a ReLU network used to estimate any quantile conditional on a set of covariates. This upper bound only depends on the best possible approximation error, the number of layers in the network, and the number of nodes per layer. We further show upper bounds that are tight for two large classes of functions: compositions of Hölder functions and members of a Besov space. These tight bounds imply ReLU networks with quantile regression achieve minimax rates for broad collections of function types. Unlike existing work, the theoretical results hold under minimal assumptions and apply to general error distributions, including heavy-tailed distributions. Empirical simulations on a suite of synthetic response functions demonstrate the theoretical results translate to practical implementations of ReLU networks. Overall, the theoretical and empirical results provide insight into the strong performance of ReLU neural networks for quantile regression across a broad range of function classes and error distributions. All code for this paper is publicly available at https://github.com/tansey/quantile-regression.

研究动机与目标

• 为深度ReLU网络在分位数回归中的理论基础提供支持，此前的研究缺乏统计保证。
• 为任意分位数函数的ReLU网络估计器的期望均方误差建立上界。
• 证明ReLU网络在广泛函数类（包括Hölder函数的复合函数和Besov空间）中可实现极小极大最优速率。
• 确保理论结果在最小分布假设下成立，包括重尾误差分布。
• 通过将极小极大结果从均值回归推广至分位数回归，弥合非参数估计理论与深度学习之间的鸿沟。

提出的方法

• 推导了ReLU网络估计器在条件分位数函数上的期望均方误差的上界，其依赖于最佳逼近误差、网络深度$L$和宽度$U$。
• 应用Rademacher复杂度和度量熵技术来控制泛化误差，利用ReLU网络函数类的覆盖数。
• 利用Schmidt-Hieber（2017）关于神经网络覆盖数的结果，对函数类上的Rademacher过程的期望上确界进行有界。
• 证明对于满足$s > d/p$的Besov空间$B^{s}_{p,q}([0,1]^d)$中的函数，极小极大速率$n^{-2s/(2s+d)}$可通过ReLU网络实现。
• 证明对于Hölder函数的复合函数，稀疏ReLU网络可在平方误差损失下实现极小极大速率。
• 采用链式论证和熵积分界来控制经验风险最小化器与真实分位数函数之间的偏差。

实验结果

研究问题

• RQ1 在误差分布假设较弱的情况下，深度ReLU网络是否可在分位数回归中实现极小极大最优速率？
• RQ2 ReLU网络估计器在分位数回归中的泛化误差上界是什么？其如何依赖于网络深度和宽度？
• RQ3 ReLU网络是否对非光滑或不规则函数类（如Besov空间）实现极小极大速率？
• RQ4 当误差分布为重尾时，能否为ReLU网络在分位数回归中建立理论保证？
• RQ5 ReLU网络的逼近误差与分位数回归中的统计估计误差之间有何关系？

主要发现

• ReLU网络分位数回归估计器的期望均方误差被一个依赖于最佳逼近误差、网络深度$L$和宽度$U$的项所限制，且对误差分布无任何假设。
• 对于Hölder函数的复合函数，存在一种稀疏ReLU网络架构，使得所得到的分位数回归估计器在平方误差损失下可实现极小极大最优速率。
• 对于满足$s > d/p$的Besov空间$B^{s}_{p,q}([0,1]^d)$中的函数，极小极大速率$n^{-2s/(2s+d)}$在温和条件下可通过ReLU网络实现。
• 理论结果适用于任意误差分布，包括重尾分布，使该方法对异常值和重尾噪声具有鲁棒性。
• 在合成数据上的经验模拟结果表明，理论误差界可转化为实际性能，验证了理论发现。
• 估计误差的上界按$\tilde{O}(\sqrt{F \epsilon_n \log n [\log L + L \log n]})$缩放，其中$\epsilon_n$捕捉逼近误差，$F$为网络容量参数。