[论文解读] Unraveling the Veil of Subspace RIP Through Near-Isometry on Subspaces

Xingyu Xv, Gen Li+1 more|arXiv (Cornell University)|May 23, 2019

Sparse and Compressive Sensing Techniques参考文献 38被引用 4

一句话总结

本文证明了在低维子空间上近似等距（near-isometry）是随机投影矩阵中子空间限制等距性（subspace RIP）的根本性质。通过证明：任何在所有低秩子空间上均表现为近似等距的矩阵均满足子空间RIP，作者们建立了一个统一的确定性框架，用于分析和保证一大类随机矩阵（包括次高斯、部分傅里叶/哈达玛、循环/托普利茨以及重尾矩阵）的子空间RIP，从而为压缩子空间聚类及相关算法提供了稳健的理论保障。

ABSTRACT

Dimensionality reduction is a popular approach to tackle high-dimensional data with low-dimensional nature. Subspace Restricted Isometry Property, a newly-proposed concept, has proved to be a useful tool in analyzing the effect of dimensionality reduction algorithms on subspaces. In this paper, we provide a characterization of subspace Restricted Isometry Property, asserting that matrices which act as a near-isometry on low-dimensional subspaces possess subspace Restricted Isometry Property. This points out a unified approach to discuss subspace Restricted Isometry Property. Its power is further demonstrated by the possibility to prove with this result the subspace RIP for a large variety of random matrices encountered in theory and practice, including subgaussian matrices, partial Fourier matrices, partial Hadamard matrices, partial circulant/Toeplitz matrices, matrices with independent strongly regular rows (for instance, matrices with independent entries having uniformly bounded $4+ε$ moments), and log-concave ensembles. Thus our result could extend the applicability of random projections in subspace-based machine learning algorithms including subspace clustering and allow for the application of some useful random matrices which are easier to implement on hardware or are more efficient to compute.

研究动机与目标

• 识别确保随机投影中子空间受限等距性（subspace RIP）的关键矩阵性质。
• 提供一种避免依赖特定分布复杂概率分析的子空间RIP确定性表征。
• 将子空间RIP的理论保证扩展至广泛的实际随机矩阵，包括结构化矩阵与重尾矩阵。
• 通过建立随机投影下子空间亲和性的一般不变性，实现对压缩子空间聚类（CSC）的通用理论分析。

提出的方法

• 作者定义并分析了低维子空间上近似等距的概念，证明该性质可推出子空间RIP。
• 他们证明了一个确定性定理：若一个矩阵在任意低维子空间中所有向量的范数均被保持在小误差范围内，则其满足子空间RIP。
• 该方法利用浓度不等式，并在随机向量上施加强正则性条件，以界定投影Gram矩阵与单位矩阵偏差的算子范数。
• 对于次高斯矩阵与BOS型矩阵，证明依赖于在弱正则性假设下的矩与尾部界。
• 对于重尾矩阵（如具有独立强正则行或对数凹集的矩阵），作者应用高维协方差估计的成果，并利用低维边缘保持对数凹性的事实。
• 该框架将分析分解为确定性的近似等距条件与概率尾部界，从而在各类矩阵中具备广泛适用性。

实验结果

研究问题

• RQ1 确保随机投影中子空间RIP的根本矩阵性质是什么？
• RQ2 能否在不依赖高斯特异性概率分析的前提下，为结构化与重尾随机矩阵建立子空间RIP？
• RQ3 是否存在一个统一框架，可对包括部分傅里叶矩阵与循环矩阵在内的多样化随机矩阵集合分析子空间RIP？
• RQ4 子空间上的近似等距性质在多大程度上可替代或推广经典概率RIP分析？
• RQ5 该框架能否为压缩子空间聚类算法提供通用理论保证？

主要发现

• 当且仅当矩阵在所有低维子空间上均表现为近似等距时，其满足子空间RIP，确立了子空间RIP的根本条件。
• 该结果提供了子空间RIP的确定性表征，将结构性条件与分布特异性概率分析解耦。
• 当测量数超过误差倒数与子空间维数的多项式时，次高斯矩阵以高概率满足子空间RIP。
• 在相同条件下，部分傅里叶与哈达玛矩阵也满足子空间RIP，从而将其适用范围扩展至子空间聚类任务。
• 由于具有有界正交系统结构及行的强正则性，部分循环与托普利兹矩阵同样满足子空间RIP。
• 对数凹集与具有独立同分布且四阶以上矩一致有界的项的矩阵，在重尾假设下也以高概率满足子空间RIP。