[论文解读] Uniform Approximation and Bracketing Properties of VC classes

Terrence Adams, Andrew B. Nobel|arXiv (Cornell University)|Jul 23, 2010

Machine Learning and Algorithms参考文献 6被引用 10

一句话总结

本文证明，任何具有有限Vapnik-Chervonenkis（VC）维数的集合族，均可通过一个有限可测划分实现一致逼近，使得该族中集合与划分单元相交的边界测度可被任意缩小。核心贡献在于为VC类建立了统一逼近定理，该定理蕴含有限 bracketing 数、在遍历抽样下的统一大数定律，以及统一混合性质。

ABSTRACT

We show that the sets in a family with finite VC dimension can be uniformly approximated within a given error by a finite partition. Immediate corollaries include the fact that VC classes have finite bracketing numbers, satisfy uniform laws of averages under strong dependence, and exhibit uniform mixing. Our results are based on recent work concerning uniform laws of averages for VC classes under ergodic sampling.

研究动机与目标

• 建立VC类集合的统一逼近性质，表明其边界在有限划分下可被任意缩小。
• 证明在任意概率测度下，VC类具有有限 bracketing 数，将 i.i.d. 情形的结果推广至依赖抽样。
• 将 VC 类的统一大数定律（Glivenko-Cantelli 性质）从 i.i.d. 推广至平稳遍历过程。
• 为弱依赖条件下经验过程与机器学习中的统一收敛性提供理论基础。
• 通过测度论划分技术，将 VC 类中统一混合与 bracketing 的结果从 i.i.d. 设置推广至更一般情形。

提出的方法

• 定义集合 $ C \in \mathcal{C} $ 相对于有限可测划分 $ \pi $ 的边界为 $ \pi $ 中与 $ C $ 及其补集均正测度相交的单元的并集。
• 利用有限 VC-维数性质，证明对任意 $ \epsilon > 0 $，存在有限可测划分 $ \pi $，使得 $ \sup_{C \in \mathcal{C}} \mu(\partial(C:\pi)) < \epsilon $。
• 从划分构造覆盖 bracket $ [C_l, C_u] $，使得 $ \mu(C_u \setminus C_l) < \epsilon $，从而确保 bracketing 数有限。
• 利用 Blum-DeHardt 大数定律，该定律将有限 bracketing 数与 Glivenko-Cantelli 性质联系起来，将统一收敛性推广至遍历过程。
• 通过 Lebesgue 点与子概率测度 $ \nu_k $ 的测度论构造，确保归纳步骤中交集具有正测度。
• 应用 portmanteau 定理与二进制区间性质，控制测度衰减，并确保归纳构造中交集具有非空内部。

实验结果

研究问题

• RQ1 每个 VC 类集合是否都能通过有限可测划分实现统一逼近，使得边界测度可被任意缩小？
• RQ2 类的有限 VC-维数是否意味着在任意概率测度下具有有限 bracketing 数？
• RQ3 VC 类的统一大数定律是否可从 i.i.d. 序列推广至平稳遍历过程？
• RQ4 VC 类的统一混合性质在强依赖（如遍历性）下是否保持不变？
• RQ5 VC 类的何种结构特性使其能够构造出边界测度统一极小的有限划分？

主要发现

• 对任意 $ \epsilon > 0 $，存在有限可测划分 $ \pi $，使得 $ \sup_{C \in \mathcal{C}} \mu(\partial(C:\pi)) < \epsilon $，证明了 VC 类的统一逼近性。
• 每个可数 VC 类在任意概率测度 $ \mu $ 下，对每个 $ \epsilon > 0 $ 均具有有限 bracketing 数 $ N_{[\,]}(\epsilon, \mathcal{C}, \mu) $。
• 在平稳遍历抽样下，VC 类的统一强大数定律成立：当 $ n \to \infty $ 时，有 $ \sup_{C \in \mathcal{C}} \left| \frac{1}{n} \sum_{i=1}^n I_C(X_i) - \mu(C) \right| \to 0 $ 几乎必然。
• 该结果可推广至 VC 主类与 VC 图类，且统一混合性质由有限 bracketing 数条件导出。
• 构造依赖于从 VC 类中归纳选取集合，使其并集生成 $ 2^l $ 个单元，并与嵌套层次集 $ Q_l $ 正测度相交。
• 证明使用了 Lebesgue 点、子概率测度 $ \nu_k $ 以及 portmanteau 定理等测度论工具，以确保边界中交集具有正测度。