[论文解读] Structure-aware error bounds for linear classification with the zero-one loss

Ata Kabán, Robert J. Durrant|arXiv (Cornell University)|Sep 28, 2017

Machine Learning and Algorithms参考文献 32被引用 3

一句话总结

本文在样本量小于维度的高维设置下，针对线性二分类问题，使用0-1损失提出了结构感知的风险界。通过利用'翻转概率'来捕捉有利的几何结构，作者推导出压缩（随机投影）和全维学习的更紧致的一般化界，从而实现对理论理解的改进，并通过最小化边界实现实际分类器的学习。

ABSTRACT

We prove risk bounds for binary classification in high-dimensional settings when the sample size is allowed to be smaller than the dimensionality of the training set observations. In particular, we prove upper bounds for both 'compressive learning' by empirical risk minimization (ERM) (that is when the ERM classifier is learned from data that have been projected from high-dimensions onto a randomly selected low-dimensional subspace) as well as uniform upper bounds in the full high-dimensional space. A novel tool we employ in both settings is the 'flipping probability' of Durrant and Kaban (ICML 2013) which we use to capture benign geometric structures that make a classification problem 'easy' in the sense of demanding a relatively low sample size for guarantees of good generalization. Furthermore our bounds also enable us to explain or draw connections between several existing successful classification algorithms. Finally we show empirically that our bounds are informative enough in practice to serve as the objective function for learning a classifier (by using them to do so).

研究动机与目标

• 开发在样本量小于输入维度时，针对0-1损失的线性分类的一般化风险界。
• 分析经验风险最小化（ERM）在随机投影数据上的性能（压缩学习），并推导反映数据几何结构的边界。
• 引入'翻转概率'作为新颖的几何度量，用于捕捉数据结构以改进风险界。
• 将理论洞见与现有成功的分类算法（如提升法）联系起来。
• 证明所推导的边界足够有信息量，可作为训练实际分类器的目标函数。

提出的方法

• 将Durrant和Kabán（ICML 2013）提出的'翻转概率'作为关键工具，量化分类器在小输入扰动下预测发生变化的难易程度，反映数据的几何特性。
• 利用Rademacher复杂度和集中不等式，推导出在全高维空间和随机投影的低维子空间中，ERM的一般化误差的上界。
• 采用假设类的平移不变形式，分析分类器在数据分布小扰动下的稳定性。
• 应用随机投影（RP）作为降维技术，在保持几何结构的前提下保留泛化保证，并对所得风险界进行理论分析。
• 采用依赖于翻转概率的统一风险界，该概率作为不连续的0-1损失的平滑代理。
• 提出将所推导的边界最小化作为学习目标，并在实验中验证其在实际应用中的可行性。

实验结果

研究问题

• RQ1 在样本量少、维度高的情形下，如何使线性分类中使用0-1损失的一般化风险界更加紧致？
• RQ2 随机投影在多大程度上保持了泛化性能？数据的哪些几何特性会影响这一性能？
• RQ3 翻转概率能否作为推导一般化边界时0-1损失的有意义代理？
• RQ4 所提出的边界与现有算法（如提升法）的成功之间有何关联或解释关系？
• RQ5 所推导的风险边界能否作为训练分类器的实际目标函数？

主要发现

• 本文证明，当数据表现出低翻转概率时，线性分类中使用0-1损失的一般化误差界可显著优于经典的VC型界，表明存在有利的几何结构。
• 在通过随机投影实现的压缩学习中，风险界依赖于投影空间中的翻转概率，且在N ≪ d时仍具有信息量。
• 实证表明，翻转概率是不连续的0-1损失的平滑连续代理，使得基于梯度的优化技术得以应用。
• 实验结果表明，将所推导的风险边界作为目标函数进行最小化，可训练出性能良好的分类器，验证了理论边界的实用相关性。
• 该边界通过将算法性能与数据分布中的低翻转概率联系起来，解释了提升法等算法的成功原因。
• 通过将输入特征替换为特征空间表示，该理论框架可推广至核化设置，同时保持边界结构不变。