[论文解读] Neural network approximation and estimation of classifiers with classification boundary in a Barron class

Andrei Caragea, Philipp Petersen+1 more|arXiv (Cornell University)|Nov 18, 2020

Brain Tumor Detection and Classification被引用 7

一句话总结

该论文为决策边界位于Barron型空间中的ReLU神经网络在二分类任务中建立了近似误差和估计误差的界。结果表明，在分类边界满足温和正则性条件的前提下，神经网络能够克服维度灾难，实现与输入维度无关的误差率（仅含多项式因子），并通过使用有限训练样本的经验风险最小化，获得明确的泛化保证。

ABSTRACT

We prove bounds for the approximation and estimation of certain binary classification functions using ReLU neural networks. Our estimation bounds provide a priori performance guarantees for empirical risk minimization using networks of a suitable size, depending on the number of training samples available. The obtained approximation and estimation rates are independent of the dimension of the input, showing that the curse of dimensionality can be overcome in this setting; in fact, the input dimension only enters in the form of a polynomial factor. Regarding the regularity of the target classification function, we assume the interfaces between the different classes to be locally of Barron-type. We complement our results by studying the relations between various Barron-type spaces that have been proposed in the literature. These spaces differ substantially more from each other than the current literature suggests.

研究动机与目标

• 解决机器学习中高维分类的挑战，传统方法在高维下易受维度灾难影响。
• 为ReLU神经网络在逼近和估计具有复杂决策边界的不连续分类函数方面提供理论保证。
• 为基于适当大小神经网络与训练样本数量关系的经验风险最小化提供先验性能界。
• 建立当分类边界在局部具有Barron型正则性时，维度灾难可被克服的理论依据。
• 澄清并比较文献中使用的不同Barron型函数空间，突出其显著差异。

提出的方法

• 将分类函数定义为在不相交区域上的指示函数之和，假设边界在局部具有Barron型正则性。
• 通过真实集合与近似集合对称差的测度来衡量近似误差，而非使用一致范数或L^p范数。
• 引入一种管兼容测度类，该类推广了乘积测度，并确保边界附近测度以ε^α的速率衰减，其中α ∈ (0,1]。
• 使用基于阈值函数(Ig,λ)的VC维的新复杂度度量，以控制经验过程的偏差。
• 应用总变差和分布微积分技术，将函数正则性与近似误差界联系起来。
• 通过涉及振荡函数的反例建立下界，表明为使某些误差率成立，必须满足α ≥ 2。

实验结果

研究问题

• RQ1 ReLU神经网络如何在分类问题中实现与输入维度无关的近似误差和估计误差界？
• RQ2 分类边界的何种正则性条件可确保避免维度灾难？
• RQ3 文献中提出的不同Barron型函数空间之间有何关系，其关键差异是什么？
• RQ4 在经验风险最小化中，此类分类器的网络规模与泛化误差之间存在何种最优权衡？
• RQ5 近似误差能否以边界函数的总变差为基准进行有界，其对泛化有何影响？

主要发现

• ReLU神经网络在二分类任务中的近似误差和估计误差率与输入维度d无关，仅含d的多项式因子。
• 在管兼容测度和Barron型边界正则性下，使用大小为N的神经网络进行经验风险最小化，可实现O(N^{-1/2})阶的估计误差。
• 当分类边界在Barron有界变差意义下局部具有有界变差时，即使分类器本身不连续，维度灾难亦可被克服。
• 下界结果表明，管兼容测度中的正则参数α必须满足α ≥ 2，才能使某些误差率成立，意味着比以往假设更强的光滑性要求。
• 文献中使用的各类Barron型空间在定义和性质上存在显著差异，这一区分对理论分析至关重要。
• 本文通过阈值函数的VC维提出了一种新的经验过程泛化界，避免了高概率界中常见的对数因子。