[论文解读] Nearly optimal classification for semimetrics

Lee-Ad Gottlieb, Aryeh Kontorovich|arXiv (Cornell University)|Feb 22, 2015

Machine Learning and Algorithms参考文献 28被引用 3

一句话总结

本文引入密度维作为半度量空间中分类的关键度量——这类空间缺乏三角不等式——表明其控制样本复杂度与算法效率。本文提出了近乎最优的样本压缩方案与快速收敛的一般化界，证明在半度量空间中学习需要与度量空间截然不同的分析方法，后者中加倍维主导了学习行为。

ABSTRACT

We initiate the rigorous study of classification in semimetric spaces, which are point sets with a distance function that is non-negative and symmetric, but need not satisfy the triangle inequality. For metric spaces, the doubling dimension essentially characterizes both the runtime and sample complexity of classification algorithms --- yet we show that this is not the case for semimetrics. Instead, we define the {\em density dimension} and discover that it plays a central role in the statistical and algorithmic feasibility of learning in semimetric spaces. We present nearly optimal sample compression algorithms and use these to obtain generalization guarantees, including fast rates. The latter hold for general sample compression schemes and may be of independent interest.

研究动机与目标

• 建立半度量空间中分类的严谨统计与算法框架，此类空间缺乏三角不等式。
• 识别密度维 μ(S) 作为控制半度量空间中学习可行性的核心参数，取代度量空间中加倍维的作用。
• 开发近乎最优的样本压缩方案，以实现半度量分类中的快速一般化率。
• 证明在半度量空间中，样本复杂度在密度维上呈指数级增长，即使在边界假设下亦然。

提出的方法

• 引入密度维 μ(S) 作为半度量空间中内在几何复杂度的度量，定义为近乎等距点的最大数量。
• 提出基于标记子集的 γ-网的样本压缩方案，压缩大小依赖于 μ(S) 与半径和边界比值的对数。
• 通过可计算的最优压缩目标变体推导一般化界，利用修改后的损失函数以确保计算可行性。
• 采用基于边界的分析方法，证明 (k,γ)-可分样本可实现大小为 μ(S)^{log₂(2rad(S)/γ)} 的压缩，误差不超过 k/|S|。
• 使用 VC 风格的下界论证，结合 k 个近乎等距点的分布，证明样本复杂度在密度维上呈指数依赖。
• 应用 Bernstein 型集中不等式，推导在边界假设下的高概率一般化界。

实验结果

研究问题

• RQ1 半度量空间中三角不等式的缺失如何影响分类的样本复杂度与算法效率？
• RQ2 在半度量空间中，何种几何参数在作用上类比于度量空间中的加倍维？
• RQ3 半度量空间中的样本压缩方案能否实现近乎最优的一般化界与快速收敛率？
• RQ4 密度维是否为半度量分类中样本复杂度的紧致表征？

主要发现

• 密度维 μ(S) 被证明是控制半度量分类中样本复杂度与算法效率的核心参数，取代了加倍维的作用。
• 构建了一种样本压缩方案，其大小受 μ(S)^{log₂(2rad(S)/γ)} 限制，对 (k,γ)-可分样本的泛化误差不超过 k/|S|。
• 论文建立了泛化界 R(k,γ) = Q(d,k/n)，其中 d = μ(S)^{log₂(2rad(S)/γ)}，该界可高效优化并实现快速收敛率。
• 证明了样本复杂度下界：对某些分布，任何学习算法的误差至少为 Ω(√(μ(𝒳)^{log₂(2rad(S)/marg(S))}) / n)，表明其在密度维上呈指数依赖。
• 最优压缩目标 Q* 被证明是 NP-难计算的，但其可计算的松弛形式可实现高效优化与一般化保证。
• 结果表明，半度量空间需要与度量空间截然不同的分析方法，因为三角不等式缺失导致打包-覆盖关系失效。