[论文解读] Optimal Bounds on the VC-dimension

Mónika Csikós, Andrey Kupavskii+1 more|arXiv (Cornell University)|Jul 20, 2018

Machine Learning and Algorithms参考文献 14被引用 5

一句话总结

该论文通过建立 $ mathbb{R}^d$ 中 $k$ 重并集与交集的半空间以及由超平面构型诱导的 $k$-维单纯形的 VC-维的最优上下界，解决了长期存在的开放问题。论文证明了 $ mathbb{R}^d$ 中 $k$ 重并集的半空间的 VC-维为 $ Theta(d \cdot k \log k)$，填补了文献中长达 30 年的空白，并证实了 Blumer 等人（1989 年）提出的经典 $O(d k \log k)$ 上界的紧致性。

ABSTRACT

The VC-dimension of a set system is a way to capture its complexity and has been a key parameter studied extensively in machine learning and geometry communities. In this paper, we resolve two longstanding open problems on bounding the VC-dimension of two fundamental set systems: $k$-fold unions/intersections of half-spaces, and the simplices set system. Among other implications, it settles an open question in machine learning that was first studied in the 1989 foundational paper of Blumer, Ehrenfeucht, Haussler and Warmuth as well as by Eisenstat and Angluin and Johnson.

研究动机与目标

• 解决 $ mathbb{R}^d$ 中 $k$ 重并集与交集半空间的 VC-维的确切值这一长期存在的开放问题，其中 $d \geq 4$。
• 弥合已知的 $O(dk\log k)$ 上界与 $\Omega(dk)$ 下界之间在 $k$ 重并集半空间上的差距。
• 建立由超平面构型诱导的 $k$-维单纯形的集合系统的 VC-维的紧致界。
• 提供一个构造性证明，表明 Blumer 等人（1989 年）提出的 $O(dk\log k)$ 界对 $d \geq 4$ 是渐近紧致的。
• 解决 Blumer 等人 1989 年奠基性论文以及 Eisenstat 和 Johnson 后续工作中关于 VC-维界紧致性的开放问题。

提出的方法

• 构造 $ mathbb{R}^d$ 中大小为 $\Omega(dk\log k)$ 的点集 $P$，使得对任意子集 $P' \subseteq P$，均存在一组 $k$ 个半空间，其并集恰好包含 $P'$。
• 使用一种受限形式的半空间 $\sum_{i=1}^d \frac{x_i}{b_i} \leq d$，所有半空间均包含原点且朝下定向，以确保对偶性的一致性。
• 应用点-超平面对偶性：每个点 $p \in P$ 映射为 $ mathbb{R}^d$ 中的一个超平面 $H(p)$，形成大小为 $\Omega(dk\log k)$ 的超平面集合 $\mathcal{H}$。
• 通过 $D(H) = (b_d/b_1, \dots, b_d/b_{d-1}, d \cdot b_d)$ 将覆盖集合中的每个半空间映射为 $ mathbb{R}^d$ 中的一个点，利用对偶性保持包含关系。
• 构造一个 $k$-维单纯形 $\Delta = \mathrm{conv}(D(\mathcal{G}(P')) \cup \{(0,\dots,0,\infty)\})$，使得超平面 $H \in \mathcal{H}$ 与 $\Delta$ 相交当且仅当 $H$ 对应于 $P'$ 中的某个点。
• 证明集合系统 $\Delta_k(\mathcal{H})$ 打破 $\mathcal{H}$，从而确立 $\mathrm{VC\text{-}dim}(\Delta_k(\mathcal{H})) = \Omega(dk\log k)$。

实验结果

研究问题

• RQ1 $\mathbb{R}^d$ 中 $k$ 重并集半空间的 VC-维的确切值是多少，其中 $d \geq 4$？
• RQ2 对 $k$ 重并集半空间的 VC-维，$O(dk\log k)$ 上界是否紧致？
• RQ3 在 $ mathbb{R}^d$ 中，与超平面构型相交的 $k$-维单纯形的集合系统的 VC-维是多少？
• RQ4 Blumer 等人（1989 年）提出的 $O(dk\log k)$ 界能否被证明对 $d \geq 4$ 是紧致的？
• RQ5 是否存在一个集合系统，其 VC-维为 $\Omega(dk\log k)$，用于 $ mathbb{R}^d$ 中 $k$ 重并集的半空间？

主要发现

• $\mathbb{R}^d$ 中 $k$ 重并集半空间的 VC-维为 $\Theta(dk\log k)$（$d \geq 4$），解决了长达 30 年的开放问题。
• 论文在 $ mathbb{R}^d$ 中 $k$ 重并集半空间的 VC-维上建立了 $\Omega(dk\log k)$ 的下界，与 Blumer 等人（1989 年）的经典上界完全匹配。
• 由 $ mathbb{R}^d$ 中超平面构型 $\mathcal{H}$ 诱导的 $k$-维单纯形集合系统 $\Delta_k(\mathcal{H})$ 的 VC-维为 $\Omega(dk\log k)$。
• 该构造证明了 Blumer 等人定理 A 中的 $O(dk\log k)$ 上界对 $d \geq 4$ 是渐近紧致的。
• 该结果证实了 $\Omega(dk\log k)$ 下界是紧致的，解决了自 1989 年奠基性工作以来持续存在的上下界差距问题。
• 通过利用对偶性和 $k$-维单纯形的凸包构造的证明技术，为几何集合系统中 VC-维下界的建立提供了新方法。