[论文解读] Optimal Rate of Convergence for Deep Neural Network Classifiers under the Teacher-Student Setting.

Tianyang Hu, Zuofeng Shang+1 more|arXiv (Cornell University)|Jan 19, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用 5

一句话总结

本文在教师-学生框架下建立了深度神经网络分类器的精确收敛速率，其中贝叶斯分类器被建模为ReLU网络。对于0-1损失和铰链损失，推导出的极小极大最优速率为 $\tilde{O}_d(n^{-2/3})$，在数据可分条件下进一步提升至 $\tilde{O}_d(n^{-1})$，且维度仅通过对数项影响速率。

ABSTRACT

Classifiers built with neural networks handle large-scale high dimensional data, such as facial images from computer vision, extremely well while traditional statistical methods often fail miserably. In this paper, we attempt to understand this empirical success in high dimensional classification by deriving the convergence rates of excess risk. In particular, a teacher-student framework is proposed that assumes the Bayes classifier to be expressed as ReLU neural networks. In this setup, we obtain a sharp rate of convergence, i.e., $ ilde{O}_d(n^{-2/3})$, for classifiers trained using either 0-1 loss or hinge loss. This rate can be further improved to $ ilde{O}_d(n^{-1})$ when the data distribution is separable. Here, $n$ denotes the sample size. An interesting observation is that the data dimension only contributes to the $\log(n)$ term in the above rates. This may provide one theoretical explanation for the empirical successes of deep neural networks in high dimensional classification, particularly for structured data.

研究动机与目标

• 为了从理论上解释深度神经网络在高维分类任务中经验成功的根源。
• 为了分析在结构化生成模型下，深度神经网络分类器的过剩风险收敛速率。
• 为了研究数据维度如何影响高维设置下的收敛速率。
• 为了在教师-学生设定下建立所推导收敛速率的极小极大最优性。

提出的方法

• 引入教师-学生框架，假设贝叶斯分类器为ReLU深度神经网络。
• 分析学生网络在有限样本上训练时，对0-1损失和铰链损失的过剩风险。
• 利用ReLU网络的结构特性，推导过剩风险的非渐近上界。
• 通过使用与维度无关的复杂度度量，将数据维度的影响隔离为对数因子。
• 引入可分性假设，以在有利的数据分布下推导更快的收敛速率。
• 推导极小极大下界，以确认上界结果的紧致性，从而证实最优性。

实验结果

研究问题

• RQ1 当贝叶斯规则为ReLU网络时，深度神经网络分类器的最优收敛速率是什么？
• RQ2 输入数据的维度如何影响深度神经网络分类器的收敛速率？
• RQ3 在更强假设（如数据可分）下，能否获得更快的收敛速率？
• RQ4 在教师-学生设定下，所推导的收敛速率是否为极小极大最优？

主要发现

• 本文建立了深度神经网络分类器在使用0-1或铰链损失训练时的精确收敛速率 $\tilde{O}_d(n^{-2/3})$。
• 在数据可分的假设下，收敛速率提升至 $\tilde{O}_d(n^{-1})$，表明在有利设置下学习速度更快。
• 数据维度 $d$ 对样本大小 $n$ 的影响仅体现为对数项，表明对高维性的鲁棒性。
• 所推导的速率是极小极大最优的，确认在相同假设下，任何分类器都无法实现更快的收敛速率。
• 结果为深度网络在高维结构化数据分类中的经验成功提供了理论基础。