[论文解读] Recipes for stable linear embeddings from Hilbert spaces to R^m

Gilles Puy, Mike E. Davies+1 more|Edinburgh Research Explorer|Sep 23, 2015

Sparse and Compressive Sensing Techniques参考文献 25被引用 6

一句话总结

本文提出了一种通用框架，用于从无穷维希尔伯特空间到 R^m 的稳定线性嵌入，该框架在任意低维信号模型上满足受限等距性质（RIP）。通过利用随机矩阵理论和盒计数维数来度量内在复杂度，作者推导出RIP满足的高概率保证，从而在压缩感知、模拟采样和机器学习压缩表示等场景中实现从压缩测量值对信号的稳定恢复。

ABSTRACT

We consider the problem of constructing a linear map from a Hilbert space $\mathcal{H}$ (possibly infinite dimensional) to $\mathbb{R}^m$ that satisfies a restricted isometry property (RIP) on an arbitrary signal model $\mathcal{S} \subset \mathcal{H}$. We present a generic framework that handles a large class of low-dimensional subsets but also unstructured and structured linear maps. We provide a simple recipe to prove that a random linear map satisfies a general RIP on $\mathcal{S}$ with high probability. We also describe a generic technique to construct linear maps that satisfy the RIP. Finally, we detail how to use our results in several examples, which allow us to recover and extend many known compressive sampling results.

研究动机与目标

• 将受限等距性质（RIP）从有限维推广至无穷维希尔伯特空间，以实现稳定信号恢复。
• 为构造在任意低维信号集上满足RIP的线性映射提供一种通用方法，涵盖结构化与非结构化设计。
• 通过表征信号模型内在维数所需测量数 m，统一并扩展现有压缩采样结果。
• 在模拟和无穷维信号处理场景（如CS-MRI和概率分布压缩表示）中建立稳定嵌入的理论保证。
• 形式化归一化弦集在决定嵌入稳定性中的作用，并将其与几何与概率复杂度度量相联系。

提出的方法

• 将归一化弦集 S(Σ) = { (x1 - x2)/||x1 - x2||_2 | x1, x2 ∈ Σ, x1 ≠ x2 } 定义为分析稳定嵌入的关键对象。
• 使用盒计数维数量化归一化弦集的内在维数，从而实现在无穷维希尔伯特空间中的分析。
• 建立随机线性映射 A 的 ||Ax||_2^2 与 ||x||_2^2 偏差的一般概率界，表明当 m 与 S(Σ) 的盒计数维数成比例时，RIP 以高概率成立。
• 利用霍尔德不等式和次指数范数控制，推导出涉及各向同性次指数随机向量的二次型的矩界。
• 证明当 m 与集合的盒计数维数成比例时，具有 i.i.d. 次高斯条目（如高斯分布）的随机矩阵以高概率在归一化弦集上满足RIP。
• 通过基于覆盖数和度量熵的通用技术，构建确定性线性映射，确保对结构化信号模型满足RIP。

实验结果

研究问题

• RQ1 如何将受限等距性质（RIP）推广至无穷维希尔伯特空间，以适用于任意低维信号模型？
• RQ2 在无穷维空间中，为确保线性映射在给定信号模型上以高概率满足RIP，所需的最小测量数 m 是多少？
• RQ3 归一化弦集的盒计数维数与稳定嵌入所需测量数之间有何关系？
• RQ4 能否开发一个统一框架，用于构建满足RIP的随机与结构化线性映射，以适用于多样化的信号模型？
• RQ5 当环境空间为无穷维时，对压缩测量值中信号的稳定恢复有何理论保证？

主要发现

• 当测量数 m 与集合的盒计数维数成比例时，具有 i.i.d. 次高斯条目的随机线性映射以高概率在任意低维信号模型的归一化弦集上满足RIP。
• 实现稳定嵌入所需的测量数与归一化弦集的盒计数维数呈线性关系，从而对内在复杂度提供了精确刻画。
• 在希尔伯特空间中，对于 k-稀疏信号，当信号在正交基下表示时，所需测量数为 O(k log n)，这扩展了有限维压缩感知的结果。
• 该框架统一并扩展了已知的压缩感知结果，如对低秩矩阵和紧流形上信号的结果，将它们整合进统一的几何与概率框架中。
• 可通过覆盖数和度量熵实现满足RIP的确定性线性映射构造，为随机矩阵设计提供非随机替代方案。
• 归一化弦集是稳定性的关键对象：线性映射能稳定嵌入信号集 Σ 当且仅当其在归一化弦集 S(Σ) 上满足RIP。