[论文解读] Sharp Rate of Convergence for Deep Neural Network Classifiers under the Teacher-Student Setting

Tianyang Hu, Zuofeng Shang+1 more|arXiv (Cornell University)|Jan 19, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文在教师-学生框架下，为深度神经网络分类器建立了精确的收敛速率 $\widetilde{O}_d(n^{-2/3})$，其中贝叶斯分类器为ReLU网络。分析表明，数据维度 $d$ 仅对速率产生对数影响，为深度学习在高维分类中尽管面临维度灾难仍能成功提供了理论解释。

ABSTRACT

Classifiers built with neural networks handle large-scale high dimensional data, such as facial images from computer vision, extremely well while traditional statistical methods often fail miserably. In this paper, we attempt to understand this empirical success in high dimensional classification by deriving the convergence rates of excess risk. In particular, a teacher-student framework is proposed that assumes the Bayes classifier to be expressed as ReLU neural networks. In this setup, we obtain a sharp rate of convergence, i.e., $ ilde{O}_d(n^{-2/3})$, for classifiers trained using either 0-1 loss or hinge loss. This rate can be further improved to $ ilde{O}_d(n^{-1})$ when the data distribution is separable. Here, $n$ denotes the sample size. An interesting observation is that the data dimension only contributes to the $\log(n)$ term in the above rates. This may provide one theoretical explanation for the empirical successes of deep neural networks in high dimensional classification, particularly for structured data.

研究动机与目标

• 为深度神经网络在高维分类任务中（尤其是图像数据）的实证成功提供理论解释。
• 弥补对深度学习分类器在统计理解上的空白，特别是在传统光滑性假设失效的非参数设定下。
• 在教师-学生框架下分析超出风险的收敛速率，其中最优决策边界为ReLU神经网络。
• 探究深度网络是否能克服分类任务中的维度灾难，而传统非参数方法则不能。
• 将现有的基于回归的收敛结果推广至分类问题，聚焦于在结构化决策边界下的0-1损失与合页损失。

提出的方法

• 提出一种教师-学生框架，其中贝叶斯分类器被建模为ReLU深度神经网络，学生网络则被训练以逼近该分类器。
• 在该设定下，通过非渐近风险分解分析0-1损失与合页损失的经验最小化器的超出风险。
• 利用学生网络函数类的覆盖数，结合深度ReLU网络的上范数熵，建立泛化界。
• 应用Tsybakov噪声条件，将超出风险与 $\phi$-风险关联，实现在弱光滑性假设下的精确速率分析。
• 通过验证一般超出风险界引理中的条件（包括近似误差、噪声条件与复杂度控制），建立收敛速率。
• 通过平衡近似误差、估计误差与网络复杂度，推导出速率 $\widetilde{O}_d(n^{-2/3})$，其中 $d$ 仅通过对数因子影响结果。

实验结果

研究问题

• RQ1 深度神经网络分类器是否能在高维分类中实现快速收敛速率，即使在经典非参数方法失效的情况下？
• RQ2 在教师-学生设置下，当贝叶斯分类器为ReLU网络时，超出风险的精确收敛速率是多少？
• RQ3 数据维度 $d$ 如何影响收敛速率？在此设定下，维度灾难是否可被缓解？
• RQ4 在可分数据分布下，收敛速率是否会提升？若会，提升幅度如何？
• RQ5 能否将深度网络在分类问题中的理论分析扩展至光滑性假设之外，特别是针对非光滑决策边界？

主要发现

• 在教师-学生设置下，经验0-1损失最小化器的超出风险以精确速率 $\widetilde{O}_d(n^{-2/3})$ 收敛，且该速率在ReLU网络设定下成立。
• 当数据分布可分时，收敛速率提升至 $\widetilde{O}_d(n^{-1})$，表明在有利数据条件下学习速度更快。
• 数据维度 $d$ 仅在收敛速率中以对数因子形式出现，表明深度网络能有效缓解维度灾难。
• 该分析在弱假设下成立，包括Tsybakov噪声条件与有界网络权重，使结果对真实世界数据结构具有鲁棒性。
• 在给定假设下，速率 $\widetilde{O}_d(n^{-2/3})$ 无法进一步改进，确立了其为该设定下的精确界。
• 研究结果为深度学习在高维图像分类中的实证成功提供了理论基础，尽管数据维度大，但泛化能力依然强劲。