[论文解读] VC dimension of ellipsoids

Yohji Akama, Kei Irie|arXiv (Cornell University)|Sep 20, 2011

Bayesian Methods and Mixture Models参考文献 6被引用 9

一句话总结

本文通过结合线性化方法与凸几何，精确求得 $d$-维椭球类的 VC 维为 $(d^2 + 3d)/2$。此外，本文进一步证明了 $N$-分量 $d$-维高斯混合模型的 VC 维至少为 $N(d^2 + 3d)/2$，为统计学习理论中的模型选择提供了紧致的下界。

ABSTRACT

We will establish that the VC dimension of the class of d-dimensional ellipsoids is (d^2+3d)/2, and that maximum likelihood estimate with N-component d-dimensional Gaussian mixture models induces a geometric class having VC dimension at least N(d^2+3d)/2. Keywords: VC dimension; finite dimensional ellipsoid; Gaussian mixture model

研究动机与目标

• 确定学习理论中一个基本几何类——$d$-维椭球类的精确 VC 维。
• 为 $N$-分量 $d$-维高斯混合模型（GMMs）的 VC 维建立下界，以服务于模型选择。
• 通过类 ${\mathcal{D}}(({\mathcal{G}}_d)_N)$ 建立椭球 VC 维与高斯混合模型复杂度之间的联系，该类捕捉了 GMM 密度的水平集。
• 为此前仅知渐近或近似值的类提供一个严格精确的 VC 维值。
• 将线性化与凸体论证方法的应用扩展至多项式上水平集类，以推导精确的 VC 维结果。

提出的方法

• 使用坐标映射 $\varphi: \mathbb{S}^{d-1} \to \mathbb{R}^B$，其中 $B = (d^2 + 3d)/2$，通过次数不超过 2 的单项式将单位球面嵌入高维空间。
• 通过将定义椭球的二次不等式与变换空间中的线性不等式关联，应用线性化技术。
• 利用引理 2，该引理表明在参数空间中，若以 $\ell^\infty$-范数进行扰动，则跨越超平面的集合可被半空间邻域打散。
• 证明对于足够小的 $\varepsilon > 0$，扰动后的半空间对应于椭球，从而建立 VC 维的下界。
• 使用引理 6 表明，若类 $\mathcal{P}$ 的密度满足平移不变性与快速衰减，则 $N$ 重凸包 $({\mathcal{P}})_N$ 的 VC 维至少为 $N \times \mathrm{VCdim}({\mathcal{D}}(\mathcal{P}))$。
• 将椭球类的下界结果与该缩放性质结合，推导出 $N$-分量 GMM 的下界 $N(d^2 + 3d)/2$。

实验结果

研究问题

• RQ1 该 $d$-维椭球类的 VC 维精确值是多少？
• RQ2 在 $N$ 和 $d$ 的变化下，$N$-分量 $d$-维高斯混合模型的 VC 维如何变化？
• RQ3 能否利用几何与凸分析工具，对 GMM 密度水平集的 VC 维建立下界？
• RQ4 在参数空间中，线性化与扰动论证在多大程度上可用于推导精确的 VC 维值？
• RQ5 对于有界次数多项式的上水平集类，其 VC 维是否也能通过类似方法进行有界？

主要发现

• 该 $d$-维椭球类的 VC 维恰好为 $(d^2 + 3d)/2$。
• 该精确值通过证明：在单位球面上大小为 $(d^2 + 3d)/2$ 的集合可在参数空间中被椭球的邻域打散而得以确立。
• $N$-分量 $d$-维高斯混合模型的 VC 维下界为 $N(d^2 + 3d)/2$。
• 该下界通过将引理 6 的缩放性质应用于椭球类（即高斯密度的水平集）而推导得出。
• 结果表明，GMM 的复杂度在 $N$ 上线性增长，在 $d$ 上二次增长，且精确系数为 $(d^2 + 3d)/2$。
• 该证明方法结合了线性化与凸几何，可推广至由多项式上水平集定义的其他类。