[论文解读] On the Restricted Isometry Property of Centered Self Khatri-Rao Products

Alexander Fengler, Peter Jung|arXiv (Cornell University)|May 22, 2019

Sparse and Compressive Sensing Techniques参考文献 20被引用 5

一句话总结

该论文为具有独立同分布各向同性列的 $n \times N$ 随机矩阵的中心化自 Khatri-Rao (KR) 积建立了限制等距性质（RIP），证明当列分布为次高斯或球面对称时，RIP 在阶 $s$ 下以高概率成立，且 $s \lesssim n^2 / \log^2(eN/n^2)$。该结果利用浓度不等式和 Hanson-Wright 型尾部界，为协方差匹配与压缩感知设置提供了鲁棒恢复保证。

ABSTRACT

In this work we establish the Restricted Isometry Property (RIP) of the centered column-wise self Khatri-Rao (KR) products of $n imes N$ matrix with iid columns drawn either uniformly from a sphere or with iid sub-Gaussian entries. The self KR product is an $n^2 imes N$-matrix which contains as columns the vectorized (self) outer products of the columns of the original $n imes N$-matrix. Based on a result of Adamczak et al. we show that such a centered self KR product with independent heavy tailed columns has small RIP constants of order $s$ with probability at least $1-C\exp(-cn)$ provided that $s\lesssim n^2/\log^2(eN/n^2)$. Our result is applicable in various works on covariance matching like in activity detection and MIMO gain-estimation.

研究动机与目标

• 为具有独立同分布各向同性列的 $n \times N$ 随机矩阵的列内中心化自 Khatri-Rao 积建立限制等距性质（RIP）。
• 将 RIP 保证扩展至协方差匹配和 MIMO 增益估计问题中出现的结构化测量矩阵。
• 证明即使在重尾或次高斯分布下，经过中心化和归一化后，RIP 常数仍保持较小。
• 通过证明相对于稀疏度 $s$ 的测量数 $n^2$ 呈线性关系，解决了关于非中心化 KR 积 RIP 刻画的猜想。
• 为使用结构化 Kronecker 类型测量矩阵的压缩感知中稳定且鲁棒的 $\ell_1$-基恢复提供理论基础。

提出的方法

• 定义中心化自 Khatri-Rao 积 $\mathcal{A}_i = \kappa(n) \cdot \text{vec}(\mathbf{a}_i \otimes \mathbf{a}_i - \mathbf{I}_n)$，以确保列均值为零且范数为单位。
• 利用 Adamczak 等人关于二次型次指数尾部界的成果，控制列最大范数。
• 通过凸集中心化性质应用 Hanson-Wright 不等式，以界高维二次型的偏离。
• 利用球面对称和次高斯向量的凸集中心化性质，确保 KR 积列的次指数边际分布。
• 通过链式法和熵积分技术，推导出 RIP 常数 $\delta_s$ 的高概率界，得到 $\delta_s \lesssim \xi^2 \sqrt{s/n^2} \log(eN / (s \sqrt{s/n^2}))$。
• 证明当 $s \lesssim n^2 / \log^2(eN/n^2)$ 时，$\delta_s < 1$ 以高概率成立，利用与维度无关的次指数范数界。

实验结果

研究问题

• RQ1 能否为具有次高斯或球面对称列的随机矩阵的中心化自 Khatri-Rao 积建立限制等距性质（RIP）？
• RQ2 稀疏度 $s$ 相对于 $n^2$ 测量数的最优标度为何，使得 RIP 以高概率成立？
• RQ3 对自 Khatri-Rao 积进行中心化是否能实现 $s \sim n^2 / \log^2(eN/n^2)$ 的线性标度，从而优于先前工作中 $s \sim n^2 \log^2 N$ 的二次标度？
• RQ4 Hanson-Wright 不等式能否应用于具有依赖或球面对称条目的结构化随机矩阵，以控制尾部分布？
• RQ5 凸集中心化性质是否足以确保 KR 积列的次指数边际分布，从而支持 RIP 分析？

主要发现

• 在各向同性、次高斯或球面对称列分布下，中心化自 Khatri-Rao 积 $\mathcal{A} \in \mathbb{R}^{n^2 \times N}$ 以高概率具有阶 $s$ 的 RIP，且 $s \lesssim n^2 / \log^2(eN/n^2)$。
• 对于球面对称列，归一化因子 $\kappa(n) = n/(n-1)$ 确保中心化后列范数保持不变，且列满足与维度无关的次指数尾部分布。
• RIP 常数 $\delta_s$ 以高概率被界为 $C \xi^2 \sqrt{s/n^2} \log(eN / (s \sqrt{s/n^2}))$，其中 $\xi$ 依赖于条目的四阶矩。
• 该结果证实了先前工作中关于非中心化 KR 积 RIP 刻画的猜想，表明中心化可实现 $s$ 与 $n^2$ 测量数的线性关系。
• 该分析可推广至更广泛的满足凸集中心化性质的向量类，包括从固定集合中无放回抽样的依赖条目。
• 在条件 $n \gtrsim s \log(eN/s)$ 下，RIP 常数的高概率界成立，其与 i.i.d. 次高斯矩阵的已知界仅相差对数因子。