[论文解读] Optimal Nonparametric Inference via Deep Neural Network

Ruiqi Liu, Ben Boukai+1 more|arXiv (Cornell University)|Feb 5, 2019

Statistical Methods and Inference参考文献 29被引用 7

一句话总结

本文证明了深度神经网络可在无需先前文献中发现的次优对数因子的情况下，实现极小极大最优非参数估计。通过基于张量积样条构造网络估计器，作者证明了 $L^2$ 极小极大风险可达到最优速率 $n^{-2eta/(2eta+d)}$ 而无对数损失，并进一步推导出渐近有效的置信区间与极小极大最优检验程序。

ABSTRACT

Deep neural network is a state-of-art method in modern science and technology. Much statistical literature have been devoted to understanding its performance in nonparametric estimation, whereas the results are suboptimal due to a redundant logarithmic sacrifice. In this paper, we show that such log-factors are not necessary. We derive upper bounds for the $L^2$ minimax risk in nonparametric estimation. Sufficient conditions on network architectures are provided such that the upper bounds become optimal (without log-sacrifice). Our proof relies on an explicitly constructed network estimator based on tensor product B-splines. We also derive asymptotic distributions for the constructed network and a relating hypothesis testing procedure. The testing procedure is further proven as minimax optimal under suitable network architectures.

研究动机与目标

• 通过消除深度神经网络风险界中冗余的对数因子，弥合非参数估计理论中的差距。
• 基于张量积样条构造一个深度神经网络估计器，以实现最优的极小极大 $L^2$ 风险速率。
• 推导所构造网络估计器的渐近分布，以实现点对点推断。
• 基于网络估计器开发一个极小极大最优的假设检验程序。
• 在回归函数具有可加结构时展示改进的速率，当 $f_0$ 为可加函数时，达到 $n^{-2\beta/(2\beta+1)}$ 的速率。

提出的方法

• 使用张量积样条作为逼近基底，构建基于深度神经网络的估计器。
• 证明张量积样条可由深度 ReLU 网络以受控的宽度与深度高效表示。
• 通过分析随机设计下的逼近误差与估计误差，推导 $L^2$ 极小极大风险的上界。
• 采用两阶段估计策略：首先估计样条系数，然后将其映射为深度网络结构。
• 利用集中不等式与熵论证控制随机误差，通过显式构造避免对数因子。
• 在正则性条件下推导网络估计器的渐近正态性，从而支持置信区间的构建。

实验结果

研究问题

• RQ1 深度神经网络能否在无对数因子的情况下实现极小极大最优非参数估计速率？
• RQ2 基于张量积样条的深度网络估计器能否实现最优的 $L^2$ 极小极大风险速率 $n^{-2\beta/(2\beta+d)}$？
• RQ3 所构造的网络估计器是否具有有效的渐近分布以支持点对点推断？
• RQ4 该网络估计器能否作为具有极小极大最优性的非参数检验中的检验统计量？
• RQ5 当回归函数具有可加结构时，最优速率是多少？

主要发现

• $L^2$ 极小极大风险在深度神经网络估计中可达到最优速率 $n^{-2\beta/(2\beta+d)}$，且不包含任何对数因子，解决了先前工作中长期存在的次优性问题。
• 基于张量积样条构造的网络估计器为极小极大最优，其风险界与理论下界仅相差常数因子。
• 推导出网络估计器的渐近分布，从而可构建有效的点对点置信区间。
• 在适当的网络结构选择下，基于该网络估计器的假设检验程序被证明为极小极大最优。
• 当 $f_0$ 为可加函数（即若干单变量 $\beta$-Hölder 函数之和）时，速率提升至 $n^{-2\beta/(2\beta+1)}$，该速率与 Stone（1985）给出的极小极大下界一致。
• 证明表明，张量积样条可被深度 ReLU 网络精确表示，其深度为 $O(\log n)$，宽度为 $n$ 的多项式，从而实现最优逼近。