[论文解读] Toward a unified theory of sparse dimensionality reduction in Euclidean space

Jean Bourgain, Sjoerd Dirksen+1 more|arXiv (Cornell University)|Nov 11, 2013

Sparse and Compressive Sensing Techniques参考文献 72被引用 6

一句话总结

本文提出了一套统一的理论框架，用于在欧几里得空间中通过稀疏 Johnson-Lindenstrauss 变换（SJLT）实现稀疏降维，表明一个新的几何复杂度参数决定了为保持集合 $ T $ 中向量的范数在 $ 1+\varepsilon $ 范围内所需的稀疏度 $ s $ 和目标维数 $ m $。核心贡献是建立了戈登定理的稀疏版本，将压缩感知、子空间嵌入和流形学习中的结果统一起来，并给出了紧致的、与数据相关的界。

ABSTRACT

Let $Φ\in\mathbb{R}^{m imes n}$ be a sparse Johnson-Lindenstrauss transform [KN14] with $s$ non-zeroes per column. For a subset $T$ of the unit sphere, $\varepsilon\in(0,1/2)$ given, we study settings for $m,s$ required to ensure $$ \mathop{\mathbb{E}}_Φ\sup_{x\in T} \left|\|Φx\|_2^2 - 1 ight| < \varepsilon , $$ i.e. so that $Φ$ preserves the norm of every $x\in T$ simultaneously and multiplicatively up to $1+\varepsilon$. We introduce a new complexity parameter, which depends on the geometry of $T$, and show that it suffices to choose $s$ and $m$ such that this parameter is small. Our result is a sparse analog of Gordon's theorem, which was concerned with a dense $Φ$ having i.i.d. Gaussian entries. We qualitatively unify several results related to the Johnson-Lindenstrauss lemma, subspace embeddings, and Fourier-based restricted isometries. Our work also implies new results in using the sparse Johnson-Lindenstrauss transform in numerical linear algebra, classical and model-based compressed sensing, manifold learning, and constrained least squares problems such as the Lasso.

研究动机与目标

• 开发一种通用的、数据自适应的稀疏降维理论，改进 Johnson-Lindenstrauss 引理中的最坏情况界。
• 识别一个新的几何复杂度参数，用于捕捉单位球面上集合 $ T $ 的内在结构，从而实现对 $ m $ 和 $ s $ 的更紧致界。
• 在稀疏变换的单一理论框架下，统一压缩感知、子空间嵌入和流形学习中的零散结果。
• 提供戈登定理的稀疏版本，该定理此前仅适用于稠密高斯矩阵。
• 通过利用数据几何结构，改进约束最小二乘、流形学习和数值线性代数等应用中的界。

提出的方法

• 基于熵数和对偶 Sudakov 最小化原理，引入一个基于集合 $ T $ 几何结构的新复杂度参数。
• 使用链式论证和稀疏变换误差的尾部界，控制 $ x \in T $ 上 $ |\|\Phi x\|_2^2 - 1| $ 的上确界。
• 应用对偶性和主导测度理论，避免界中的对数损失，从而优于先前的技术。
• 证明：若新复杂度参数较小，则可选择 $ m $ 和 $ s $，使得 $ \mathbb{E}_\Phi \sup_{x\in T} |\|\Phi x\|_2^2 - 1| < \varepsilon $。
• 利用 SJLT 作为双正则二分图的随机符号邻接矩阵的结构，推导出概率浓度界。
• 证明：若映射在流形的切向量上保持范数，则其具有双-Lipschitz 性质，从而可保持测地距离。

实验结果

研究问题

• RQ1 何种几何复杂度参数决定了稀疏 Johnson-Lindenstrauss 变换为保持集合 $ T $ 中所有向量范数所需的稀疏度 $ s $ 和目标维数 $ m $？
• RQ2 能否为具有独立同分布条目的稀疏变换建立戈登定理的稀疏版本，以替代稠密高斯矩阵？
• RQ3 如何在单一理论框架下，定性地统一压缩感知、子空间嵌入和流形学习中的现有结果？
• RQ4 当前界存在哪些定量限制？通过更优地利用主导测度或熵数对偶性，能否避免对数损失？
• RQ5 其他图结构（如双正则图）是否能在特定数据集 $ T $ 上，为 $ s $ 和 $ m $ 提供更优的界？

主要发现

• 所需的每列非零条目数 $ s $ 和目标维数 $ m $ 取决于集合 $ T $ 的新几何复杂度参数，该参数捕捉了其内在结构。
• 对于 $ k $-稀疏向量，本文表明 $ m \gtrsim k(\log n)^2 $ 且 $ s \gtrsim (\log n)^2 $ 在高概率下足以实现 $ \varepsilon $-范数保持。
• 对于 $ d $-维线性子空间，所需 $ m \gtrsim d(\log n)^2 $，且 $ s \gtrsim (\log n)^2 $，与已知界仅相差对数因子。
• 对于流形 $ \mathcal{M} $，若 $ \Phi $ 以高概率将所有单位切向量的范数保持在 $ 1\pm\varepsilon $ 范围内，则其以高概率保持测地距离在 $ 1+\varepsilon $ 范围内。
• 本文指出，当前界因链式论证和熵数对偶性而损失了对数因子，建议通过改进技术可实现 $ s \sim \varepsilon^{-1} $ 的线性依赖，而非二次依赖。
• 使用主导测度理论可避免 $ \gamma_2 $ 泛函界中的对数损失，从而可能改进对 $ \varepsilon $ 和 $ n $ 的依赖关系。