[论文解读] Restricted Isometry Property under High Correlations

Shiva Prasad Kasiviswanathan, Mark Rudelson|arXiv (Cornell University)|Apr 11, 2019

Sparse and Compressive Sensing Techniques参考文献 30被引用 7

一句话总结

本文提出一种混合矩阵构建模型，其中固定确定性矩阵 X 与随机矩阵 R 相乘得到 XR，当 X 具备足够的稳定秩时，XR 以高概率满足限制等距性质（RIP）。关键结果表明，此类矩阵可实现高效的压缩学习，尤其在自然语言处理中通过 DisC 嵌入实现，其泛化误差相对于原始域被限制在 O(√ε) 范围内。

ABSTRACT

Matrices satisfying the Restricted Isometry Property (RIP) play an important role in the areas of compressed sensing and statistical learning. RIP matrices with optimal parameters are mainly obtained via probabilistic arguments, as explicit constructions seem hard. It is therefore interesting to ask whether a fixed matrix can be incorporated into a construction of restricted isometries. In this paper, we construct a new broad ensemble of random matrices with dependent entries that satisfy the restricted isometry property. Our construction starts with a fixed (deterministic) matrix $X$ satisfying some simple stable rank condition, and we show that the matrix $XR$, where $R$ is a random matrix drawn from various popular probabilistic models (including, subgaussian, sparse, low-randomness, satisfying convex concentration property), satisfies the RIP with high probability. These theorems have various applications in signal recovery, random matrix theory, dimensionality reduction, etc. Additionally, motivated by an application for understanding the effectiveness of word vector embeddings popular in natural language processing and machine learning applications, we investigate the RIP of the matrix $XR^{(l)}$ where $R^{(l)}$ is formed by taking all possible (disregarding order) $l$-way entrywise products of the columns of a random matrix $R$.

研究动机与目标

• 弥合随机与确定性构造受限等距性质（RIP）矩阵之间的差距。
• 确立固定矩阵 X 与随机矩阵 R 的乘积满足 RIP 的条件。
• 将该框架应用于自然语言处理中的词向量嵌入，特别是 DisC 嵌入。
• 分析基于 ℓ 重共现特征的压缩表示所训练的线性分类器的泛化性能。
• 证明通过线性变换的 DisC 嵌入生成的压缩表示可保持接近最优的分类性能。

提出的方法

• 提出 XR 模型：通过固定 n×p 矩阵 X 与 p×d 随机矩阵 R 的乘积构造满足 RIP 的矩阵。
• 以稳定秩（sr(X)）作为关键条件：当 sr(X) = Ω(k log(d/k)) 时，子高斯 R 可确保 RIP。
• 分析 R 由不同模型生成时的 RIP 性质：子高斯、ℓ 重独立及低随机性分布。
• 定义 ℓ 重列哈达玛积 R(ℓ) 以建模 DisC 嵌入中词共现特征。
• 构建线性变换的 DisC 嵌入 V(L) 为分块对角矩阵 X(ℓ)V(ℓ)，以整合上下文信息。
• 采用 Arora 等人（2018a）的泛化误差界，并结合新的 RIP 结果，分析压缩学习。

实验结果

研究问题

• RQ1 固定确定性矩阵 X 与随机矩阵 R 相乘后，能否生成满足受限等距性质（RIP）的矩阵 XR？
• RQ2 X 的哪些条件（如稳定秩）可确保在 R 的多种随机模型下，XR 以高概率满足 RIP？
• RQ3 所提出的 XR 模型在压缩学习任务中表现如何，特别是在使用 DisC 嵋入的自然语言处理任务中？
• RQ4 基于压缩 DisC 嵌入训练的线性分类器的泛化误差是否可相对于基于完整共现向量训练的分类器进行有界控制？
• RQ5 稳定秩在实现具有高相关性条目结构的随机矩阵的 RIP 中起什么作用？

主要发现

• 当 R 具有独立同分布的子高斯条目时，若 X 的稳定秩满足 sr(X) = Ω(k log(d/k))，则矩阵 XR 以高概率满足 (k, ε)-RIP。
• 在子高斯情况下，该稳定秩条件无法进一步改进，其紧致性已得到证明。
• 对于 ℓ 重独立 R，RIP 成立且所需随机性减少，仅需 O(l) 独立性。
• 对于 ℓ 重共现矩阵 R(ℓ)，在条件 sr(X(ℓ)) = Ω(k^ℓ τ^{4ℓ}/ε² log(d^ℓ/k)) 下，RIP 成立，其中 ℓ ≥ 3。
• 在压缩 DisC 嵌入上训练的线性分类器的泛化误差满足 fD(ˆϑ) ≤ fD(θ⋆) + O(λα∥θ⋆∥√ε + (1/b)log(1/δ))，表明性能接近最优。
• 该框架通过线性变换 DisC 嵌入实现维度压缩，同时保持分类准确率，从而在自然语言处理中实现高效的压缩学习。