[论文解读] Simultaneously Structured Models with Application to Sparse and Low-rank Matrices

Samet Oymak, Amin Jalali+3 more|arXiv (Cornell University)|Dec 16, 2012

Sparse and Compressive Sensing Techniques参考文献 67被引用 16

一句话总结

本文研究了同时具有稀疏性和低秩性的矩阵恢复问题，表明标准的结合ℓ₁范数与核范数的凸松弛方法无法有效利用联合结构，所需测量次数远超理论最小值。本文证明了凸优化与非凸方法之间存在根本性差距：非凸公式可在仅𝒪(rk)次测量下实现恢复，与模型自由度完全匹配；而凸方法则需要Ω(min{k², rn})次测量。

ABSTRACT

The topic of recovery of a structured model given a small number of linear observations has been well-studied in recent years. Examples include recovering sparse or group-sparse vectors, low-rank matrices, and the sum of sparse and low-rank matrices, among others. In various applications in signal processing and machine learning, the model of interest is known to be structured in several ways at the same time, for example, a matrix that is simultaneously sparse and low-rank. Often norms that promote each individual structure are known, and allow for recovery using an order-wise optimal number of measurements (e.g., $\ell_1$ norm for sparsity, nuclear norm for matrix rank). Hence, it is reasonable to minimize a combination of such norms. We show that, surprisingly, if we use multi-objective optimization with these norms, then we can do no better, order-wise, than an algorithm that exploits only one of the present structures. This result suggests that to fully exploit the multiple structures, we need an entirely new convex relaxation, i.e. not one that is a function of the convex relaxations used for each structure. We then specialize our results to the case of sparse and low-rank matrices. We show that a nonconvex formulation of the problem can recover the model from very few measurements, which is on the order of the degrees of freedom of the matrix, whereas the convex problem obtained from a combination of the $\ell_1$ and nuclear norms requires many more measurements. This proves an order-wise gap between the performance of the convex and nonconvex recovery problems in this case. Our framework applies to arbitrary structure-inducing norms as well as to a wide range of measurement ensembles. This allows us to give performance bounds for problems such as sparse phase retrieval and low-rank tensor completion.

研究动机与目标

• 理解凸优化在恢复具有多种同时结构（如稀疏性与低秩性）信号时的根本极限。
• 研究将标准范数（如ℓ₁范数与核范数）组合用于多种结构时，是否能实现最优测量复杂度。
• 建立使用多目标凸松弛进行成功恢复所需测量次数的理论下界。
• 证明当多种结构共存时，仅通过个体结构促进范数的凸组合无法实现最优样本复杂度。
• 提出一个适用于多种测量集合（包括矩阵补全与高斯测量）的框架，用于分析联合结构模型。

提出的方法

• 提出一种使用原子范数与结构原子凸包的通用框架，用于建模具有多种同时结构的信号。
• 通过组合个体结构诱导范数（如ℓ₁范数用于稀疏性，核范数用于低秩性）分析多目标凸优化的性能。
• 推导出通过此类凸松弛实现成功恢复所需测量次数的下界，表明其阶次上并不优于仅使用单一结构的情况。
• 提出一种可利用联合结构的非凸公式，并证明其可在𝒪(rk)次测量下实现矩阵恢复，与自由度完全匹配。
• 将该框架应用于多种测量集合，包括子采样的标准基（矩阵补全）、高斯分布、次高斯分布及二次测量。
• 利用对偶性与几何论证刻画多目标问题的帕累托前沿，表明联合结构无法被范数组合所捕捉。

实验结果

研究问题

• RQ1 结合ℓ₁范数与核范数的凸优化能否实现对同时稀疏与低秩矩阵的最优样本复杂度？
• RQ2 使用凸松弛恢复一个同时稀疏与低秩的矩阵，至少需要多少通用线性测量？
• RQ3 在恢复同时具有多种结构的矩阵时，凸方法与非凸方法之间是否存在根本性性能差距？
• RQ4 能否构造一种新的凸松弛方法，以完全利用多种结构，而非依赖于现有范数的组合？
• RQ5 结果在不同测量集合（如矩阵补全与高斯测量）之间如何推广？

主要发现

• 使用ℓ₁范数与核范数凸组合进行恢复所需的测量次数下界为Ω(min{k², rn})，其阶次上并不优于仅使用其中一种结构的情况。
• 非凸公式可在𝒪(rk)次测量下恢复同时稀疏与低秩的矩阵，与模型的自由度完全匹配。
• 这确立了凸与非凸恢复之间存在阶次上的差距：凸方法所需测量次数远超信息论最小值。
• 该框架适用于多种测量集合，包括矩阵补全、高斯分布、次高斯分布及二次测量，且相应地推导出性能界。
• 结果表明，为充分挖掘多种结构，需要一种新型凸松弛方法，而非现有范数的组合。
• 对于稀疏与低秩矩阵恢复问题，使用ℓ₁ + 核范数的凸方法需要Ω(min{k², rn})次测量，而真实自由度为𝒪(rk)，表明存在根本性低效。