[论文解读] VC bounds on the cardinality of nearly orthogonal function classes

Lee-Ad Gottlieb, Leonid+2 more|arXiv (Cornell University)|Jul 28, 2010

Machine Learning and Algorithms参考文献 22被引用 4

一句话总结

本论文通过一种新颖的投影论证和二项式系数的熵分析，改进了在 \{−1,1\}^n 中几乎正交向量的最大数量的 VC-维数界。关键贡献在于对具有近似正交性（γ ≈ 0）的函数类的打包数给出了更紧的界，显著改进了 Haussler 的界，并推广至 k 元字母表。

ABSTRACT

We bound the number of nearly orthogonal vectors with fixed VC-dimension over $\setpm^n$. Our bounds are of interest in machine learning and empirical process theory and improve previous bounds by Haussler. The bounds are based on a simple projection argument and the generalize to other product spaces. Along the way we derive tight bounds on the sum of binomial coefficients in terms of the entropy function.

研究动机与目标

• 改进具有 VC-维数 d 和几乎正交向量（ε ≈ 1/2）的函数类的打包数 M(ε,d) 的现有界。
• 通过提供一种更简单的构造，解决 Haussler 界中常数间隙的开放问题，将间隙缩小至 [1, 2e]。
• 通过广义 VC-维数和基于熵的求和界，将分析从二元字母表推广至 k 元函数类。
• 证明当 γ = 1−2ε = O(1/poly(n)) 时，M(ε,d) 不能被 n 的多项式有界，从而解决该情形下多项式界为负的结果。

提出的方法

• 使用投影论证，对 VC-维数有界的函数类中 ε 分离子集的大小进行界约束。
• 应用基于熵的二项式系数求和 ∑_{i=0}^d \binom{n}{i} 的界，通过泰勒展开和二元熵函数的凹性推导出紧致上界。
• 提出 k 元字母表的广义熵界：∑_{i=0}^d \binom{n}{i}k^i < 0.94 · 2^{nH(d/n) + d log k}。
• 建立新的上界 M((1−γ)/2,d) ≤ 100 · 2^{dβ(γ)}，其中 β(γ) 是由熵和向量正交性推导出的函数。
• 利用归一化汉明距离 ρ 与内积 ⟨x,y⟩ 之间的关系 2ρ(x,y) + ⟨x,y⟩ = 1，将正交性重述为 γ = 1−2ε。
• 通过二项式系数的集中性和尾部界推导基于熵的上界，利用泰勒展开明确常数。

实验结果

研究问题

• RQ1 对于几乎正交函数类（ε ≈ 1/2）的打包数 M(ε,d)，是否可以比 Haussler 的界更紧地界定？
• RQ2 当 ε 接近 1/2 时，log M(ε,d) 的最优渐近增长速率作为 d 和 ε 的函数是什么？
• RQ3 Haussler 的界能否通过常数因子改进，特别是将关键常数中 1/2e 到 2e 的间隙缩小？
• RQ4 当 γ = 1−2ε = O(1/poly(n)) 时，M(ε,d) 是否存在 n 的多项式界？
• RQ5 能否通过广义 VC-维数框架，将二元 VC-维数界推广至 k 元字母表？

主要发现

• 论文建立了新的上界 M((1−γ)/2,d) ≤ 100 · 2^{dβ(γ)}，其渐近增长速率为每 d 个单位 (ln 2)β(γ)，显著优于 Haussler 对小 γ 的界 ln(4e/(1−γ)) 每 d 个单位。
• 对于小 γ，新界在 d 上实现了超指数级的改进，对数增长速率的比值趋近于一个常数因子的提升。
• 作者通过熵函数分析和泰勒展开，推导出紧致界 ∑_{i=0}^d \binom{n}{i} < 0.98 · 2^{nH(d/n)}，优于先前估计。
• 对于 k 元字母表，建立了界 ∑_{i=0}^d \binom{n}{i}k^i < 0.94 · 2^{nH(d/n) + d log k}，这是首次以广义 VC-维数形式表示的此类打包界。
• 论文证明当 γ = 1−2ε = O(1/poly(n)) 时，M(ε,d) 不能被 n 的多项式有界，从而解决了该情形下多项式界为负的结果。
• 提供了一种更简单的构造，实现下界 M(ε,d) ≥ (1/(2e(ε + d/n)))^d，将 Haussler 界中的常数间隙缩小至 [1, 2e]，与近期结果一致，但证明更为直接。