[论文解读] Universality in Learning from Linear Measurements

Ehsan Abbasi, Fariborz Salehi+1 more|arXiv (Cornell University)|Jun 20, 2019

Sparse and Compressive Sensing Techniques参考文献 30被引用 9

一句话总结

该论文在从线性测量中恢复信号时建立了普遍性原理：为高概率完美恢复结构化信号所需测量的最小数量，仅取决于测量向量的一阶和二阶统计量（均值与协方差）。这使得在分析中可将一般测量分布替换为等价的高斯分布，从而利用现有工具（如CGMT）精确推导出相变阈值——例如在相位检索中，PhaseLift算法的相变阈值为3n个测量值。

ABSTRACT

We study the problem of recovering a structured signal from independently and identically drawn linear measurements. A convex penalty function $f(\cdot)$ is considered which penalizes deviations from the desired structure, and signal recovery is performed by minimizing $f(\cdot)$ subject to the linear measurement constraints. The main question of interest is to determine the minimum number of measurements that is necessary and sufficient for the perfect recovery of the unknown signal with high probability. Our main result states that, under some mild conditions on $f(\cdot)$ and on the distribution from which the linear measurements are drawn, the minimum number of measurements required for perfect recovery depends only on the first and second order statistics of the measurement vectors. As a result, the required of number of measurements can be determining by studying measurement vectors that are Gaussian (and have the same mean vector and covariance matrix) for which a rich literature and comprehensive theory exists. As an application, we show that the minimum number of random quadratic measurements (also known as rank-one projections) required to recover a low rank positive semi-definite matrix is $3nr$, where $n$ is the dimension of the matrix and $r$ is its rank. As a consequence, we settle the long standing open question of determining the minimum number of measurements required for perfect signal recovery in phase retrieval using the celebrated PhaseLift algorithm, and show it to be $3n$.

研究动机与目标

• 确定为以高概率完美恢复结构化信号所需最少的线性测量数量。
• 研究测量分布的高阶矩是否会影响恢复阈值，超出均值与协方差的范围。
• 建立一个普遍性结果，允许将具有给定均值与协方差的非高斯测量向量替换为独立同分布的高斯向量。
• 将普遍性原理应用于二次测量，特别是相位检索与低秩矩阵恢复问题。
• 解决长期悬而未决的开放问题：PhaseLift算法在相位检索中精确相变阈值的确定。

提出的方法

• 将信号恢复建模为凸优化问题，即在满足线性测量约束 $ \mathbf{a}_i^T\mathbf{x} = y_i $ 的条件下最小化惩罚函数 $ f(\mathbf{x}) $。
• 利用凸高斯极小-极大定理（CGMT）分析在高斯测量向量下优化问题的渐近行为。
• 证明相变阈值仅依赖于测量向量的均值 $ \mu $ 与协方差 $ \Sigma $，而不受高阶矩影响。
• 证明对于任意具有给定 $ \mu $ 与 $ \Sigma $ 的测量分布，其恢复阈值与对应独立同分布高斯测量集的阈值一致。
• 通过将问题提升至矩阵恢复框架（使用 $ \mathbf{X}_0 = \mathbf{x}_0\mathbf{x}_0^T $）将普遍性结果应用于二次测量。
• 利用高斯等价模型推导出特定结构（如低秩、稀疏及同时具有多种结构的矩阵）的精确相变阈值。

实验结果

研究问题

• RQ1 完美恢复结构化信号所需的最少测量数量是否仅取决于测量向量的一阶与二阶统计量？
• RQ2 能否通过分析具有相同均值与协方差的等价高斯集合，来确定非高斯测量分布的恢复阈值？
• RQ3 在使用二次测量的相位检索中，PhaseLift算法的精确相变阈值是多少？
• RQ4 普遍性原理如何推广至低秩或稀疏半正定矩阵等结构化矩阵恢复问题？
• RQ5 普遍性结果能否用于推导出同时具有多种结构的矩阵（如低秩与稀疏）的精确阈值？

主要发现

• 完美恢复所需的最少测量数量仅取决于测量向量的均值向量 $ \mu $ 与协方差矩阵 $ \Sigma $，而不受高阶矩影响。
• 在相位检索中使用PhaseLift算法时，精确相变发生在 $ m = 3n $ 个测量值处，解决了长期悬而未决的开放问题。
• 通过二次测量恢复一个秩为 $ r $ 的半正定矩阵的恢复阈值为 $ 3nr $，与高斯测量下的已知阈值一致。
• 对于使用 $ \ell_1 $-范数惩罚的稀疏半正定矩阵恢复，相变阈值由一个涉及Q函数与高斯密度的非线性方程决定。
• 基于普遍性原理推导出的理论相变阈值与低秩及稀疏矩阵恢复的模拟结果完全吻合。
• 普遍性结果使得可将现有的基于CGMT的高斯测量分析框架，直接应用于具有相同一阶与二阶统计量的非高斯测量模型。