[论文解读] Sample-based high-dimensional convexity testing

Xi Chen, Adam Freilich+2 more|arXiv (Cornell University)|Jun 28, 2017

Machine Learning and Algorithms参考文献 25被引用 8

一句话总结

本文研究在标准正态分布下，基于样本的高维空间凸性测试，提出算法通过有标签样本区分凸集与距离凸性 $\varepsilon$-远的集合。建立了近乎紧致的样本复杂度界限：单边测试为 $2^{\tilde{\Theta}(n)}$，双边测试为 $2^{\tilde{\Theta}(\sqrt{n})}$，解决了该问题在基于样本的模型中的复杂度。

ABSTRACT

In the problem of high-dimensional convexity testing, there is an unknown set $S \subseteq \mathbb{R}^n$ which is promised to be either convex or $\varepsilon$-far from every convex body with respect to the standard multivariate normal distribution $\mathcal{N}(0, 1)^n$. The job of a testing algorithm is then to distinguish between these two cases while making as few inspections of the set $S$ as possible. In this work we consider sample-based testing algorithms, in which the testing algorithm only has access to labeled samples $(\boldsymbol{x},S(\boldsymbol{x}))$ where each $\boldsymbol{x}$ is independently drawn from $\mathcal{N}(0, 1)^n$. We give nearly matching sample complexity upper and lower bounds for both one-sided and two-sided convexity testing algorithms in this framework. For constant $\varepsilon$, our results show that the sample complexity of one-sided convexity testing is $2^{ ildeΘ(n)}$ samples, while for two-sided convexity testing it is $2^{ ildeΘ(\sqrt{n})}$.

研究动机与目标

• 理解在仅能获取标准正态分布有标签样本时，高维空间中凸性测试的样本复杂度。
• 通过在基于样本的框架中研究凸性，弥合高维属性测试与几何属性测试之间的差距。
• 为单边与双边凸性测试器建立近乎匹配的上下界样本复杂度。
• 在高斯测度下，解决基于样本模型中凸性测试的复杂度，提供紧致的渐近界限。

提出的方法

• 本文引入一种基于样本的测试模型，其中算法通过独立的有标签样本 $(\bm{x}, S(\bm{x}))$ 访问数据，其中 $\bm{x} \sim \mathcal{N}(0,1)^n$。
• 对于单边测试，通过使用凸集的有限覆盖的假设学习方法构造测试器，实现 $(n/\varepsilon)^{O(n)}$ 的样本复杂度。
• 对于双边测试，利用对高斯测度和几何覆盖的更精细分析，实现 $n^{O(\sqrt{n}/\varepsilon^2)}$ 的样本复杂度。
• 通过将难题分布的凸集与非凸集归约，证明下界，这些集合在少量样本下难以区分。
• 分析利用凸集的结构性结果，包括覆盖数界限和高斯测度集中性，以界定对称差的体积。
• 采用两阶段算法：首先学习一个接近真实集合 $S$ 的假设集合 $H$，然后在凸集的有限覆盖中搜索一个接近 $S$ 的集合。

实验结果

研究问题

• RQ1 在标准正态分布下，高维空间中基于样本的单边凸性测试的样本复杂度是多少？
• RQ2 在相同分布下，高维空间中基于样本的双边凸性测试的样本复杂度是多少？
• RQ3 能否在此模型中为单边与双边测试器建立近乎匹配的上下界？
• RQ4 在基于样本的框架中，凸性测试的一边错误与双边错误的复杂度有何不同？
• RQ5 凸集在高斯测度下的哪些结构性质使得能够实现紧致的样本复杂度界限？

主要发现

• 单边凸性测试的样本复杂度为 $2^{\Omega(n)}$，与下界仅相差对数因子。
• 存在一个单边测试器，其样本复杂度为 $2^{O(n \log(n/\varepsilon))}$，几乎与下界匹配。
• 双边凸性测试的样本复杂度为 $2^{\Omega(\sqrt{n})}$，与单边测试相比存在显著差距。
• 一个双边测试器实现了 $2^{O(\sqrt{n} \log n / \varepsilon^2)}$ 的样本复杂度，几乎与下界匹配。
• 结果表明，在高斯测度下，高维空间中双边测试比单边测试显著更高效。
• 本文证明，$\varepsilon$-远的非凸集可用 $2^{\tilde{\Theta}(\sqrt{n})}$ 个样本检测，而单边测试需要 $2^{\tilde{\Theta}(n)}$ 个样本。