[论文解读] Sub-Gaussian Matrices on Sets: Optimal Tail Dependence and Applications

Halyun Jeong, Xiaowei Li+2 more|arXiv (Cornell University)|Jan 28, 2020

Sparse and Compressive Sensing Techniques参考文献 36被引用 8

一句话总结

本文在集合上建立了子高斯随机矩阵的最优尾部依赖关系，证明了浓度界限对子高斯参数 $ K $ 的依赖关系为 $ K\sqrt{\log K} $，优于先前的次优 $ K^2 $ 依赖关系。该研究提出了具有改进矩约束的新伯恩斯坦不等式与汉森-沃赖特不等式，从而在压缩感知、降维和盲解调等应用中实现了更紧的理论保证。

ABSTRACT

Random linear mappings are widely used in modern signal processing, compressed sensing and machine learning. These mappings may be used to embed the data into a significantly lower dimension while at the same time preserving useful information. This is done by approximately preserving the distances between data points, which are assumed to belong to $\mathbb{R}^n$. Thus, the performance of these mappings is usually captured by how close they are to an isometry on the data. Gaussian linear mappings have been the object of much study, while the sub-Gaussian settings is not yet fully understood. In the latter case, the performance depends on the sub-Gaussian norm of the rows. In many applications, e.g., compressed sensing, this norm may be large, or even growing with dimension, and thus it is important to characterize this dependence. We study when a sub-Gaussian matrix can become a near isometry on a set, show that previous best known dependence on the sub-Gaussian norm was sub-optimal, and present the optimal dependence. Our result not only answers a remaining question posed by Liaw, Mehrabian, Plan and Vershynin in 2017, but also generalizes their work. We also develop a new Bernstein type inequality for sub-exponential random variables, and a new Hanson-Wright inequality for quadratic forms of sub-Gaussian random variables, in both cases improving the bounds in the sub-Gaussian regime under moment constraints. Finally, we illustrate popular applications such as Johnson-Lindenstrauss embeddings, null space property for 0-1 matrices, randomized sketches and blind demodulation, whose theoretical guarantees can be improved by our results (in the sub-Gaussian case).

研究动机与目标

• 解决子高斯范数依赖关系在矩阵浓度界限中的开放问题，此前的依赖关系为次优的 $ K^2 $。
• 将先前关于各向同性子高斯矩阵的结果推广至任意矩阵 $ B $，以实现更广泛的应用性。
• 为具有改进矩依赖边界的子高斯与亚指数变量，开发新的伯恩斯坦型与汉森-沃赖特不等式。
• 在约翰逊-林登施特劳斯嵌入、null空间性质、随机化小样本和盲解调等关键应用中，提升理论保证。
• 证明在一般设定下，对高斯宽度 $ w(T) $ 与半径 $ \mathrm{rad}(T) $ 的依赖关系是最优的。

提出的方法

• 推导 $ \frac{1}{\|B\|_F}\|BAx\|_2 $ 在集合 $ T $ 上关于 $ \|x\|_2 $ 的新统一浓度界限，证明其对子高斯参数 $ K $ 的依赖关系达到最优，为 $ K\sqrt{\log K} $。
• 在有界一阶绝对矩条件下，提出针对亚指数随机变量的改进伯恩斯坦不等式，提升子高斯区域的界限。
• 在有界二阶矩约束下，建立子高斯向量二次型的新汉森-沃赖特不等式。
• 将新不等式应用于结构化随机矩阵与行相关设定，证明更紧的浓度性。
• 利用改进的界限，收紧盲解调与神经网络恢复中的样本复杂度要求，从 $ n^3 + p^3 $ 降低至 $ n^2 + p^2 $。

实验结果

研究问题

• RQ1 在集合上，子高斯随机矩阵浓度对子高斯参数 $ K $ 的最优依赖关系是什么？
• RQ2 先前工作中次优的 $ K^2 $ 依赖关系能否改进为 $ K\sqrt{\log K} $，且该界是否紧致？
• RQ3 在矩约束下，如何对伯恩斯坦型与汉森-沃赖特不等式进行改进，以提升子高斯区域的尾部界限？
• RQ4 新不等式在盲解调与压缩感知等应用中的理论保证能提升到何种程度？
• RQ5 在一般情况下，对高斯宽度 $ w(T) $ 与半径 $ \mathrm{rad}(T) $ 的依赖关系是否最优？

主要发现

• 本文建立了子高斯矩阵在集合上的最优浓度界限，其对子高斯参数 $ K $ 的依赖关系为 $ K\sqrt{\log K} $，优于先前的 $ K^2 $ 依赖关系。
• 新界限适用于任意矩阵 $ B $，推广了以往要求 $ B = I $ 的结果，并在 $ BA $ 的行存在相关性时仍保持紧致性。
• 作者在有界一阶绝对矩条件下，推导出针对亚指数变量的新伯恩斯坦型不等式，从而获得更优的子高斯区域尾部界限。
• 在有界二阶矩条件下，提出了新的汉森-沃赖特不等式，为子高斯向量的二次型提供了更紧的浓度性。
• 在盲解调中，改进的界限将所需网络维数从 $ l \gtrsim n^3 + p^3 $ 降低至 $ l \gtrsim n^2 + p^2 $，与基于稀疏性的恢复界限一致。
• 证明对 $ w(T) + \mathrm{rad}(T) $ 的依赖关系在一般情况下是最优的，确认在无额外结构假设下，新界限无法进一步改进。