[论文解读] Structured Matrix Recovery via the Generalized Dantzig Selector

Sheng Chen, Arindam Banerjee|arXiv (Cornell University)|Apr 12, 2016

Sparse and Compressive Sensing Techniques参考文献 29被引用 5

一句话总结

本文在次高斯测量下，提出了一种基于广义Dantzig选择器的结构化矩阵恢复通用框架，通过矩阵结构的几何度量提供了非渐近误差界。该框架为酉不变范数（包括迹范数和谱k-支持范数）建立了恢复保证，其误差率与现有结果相当或更优。

ABSTRACT

In recent years, structured matrix recovery problems have gained considerable attention for its real world applications, such as recommender systems and computer vision. Much of the existing work has focused on matrices with low-rank structure, and limited progress has been made matrices with other types of structure. In this paper we present non-asymptotic analysis for estimation of generally structured matrices via the generalized Dantzig selector under generic sub-Gaussian measurements. We show that the estimation error can always be succinctly expressed in terms of a few geometric measures of suitable sets which only depend on the structure of the underlying true matrix. In addition, we derive the general bounds on these geometric measures for structures characterized by unitarily invariant norms, which is a large family covering most matrix norms of practical interest. Examples are provided to illustrate the utility of our theoretical development.

研究动机与目标

• 开发超越低秩矩阵的结构化矩阵恢复统一理论框架。
• 分析在通用次高斯测量模型下广义Dantzig选择器的估计误差。
• 利用高斯宽度和限制相容常数等几何度量表征恢复误差。
• 为酉不变范数推导这些几何度量的一般上界，涵盖实际应用中的矩阵范数。
• 为低秩和k-支持范数矩阵等特定结构建立高概率恢复误差界。

提出的方法

• 将结构化矩阵恢复建模为具有任意范数 $ R(\theta) $ 及其对偶 $ R^*(\cdot) $ 的广义Dantzig选择器优化问题。
• 利用限制强凸性（RSC）和调参 $ \lambda_n $ 的条件，推导确定性误差界。
• 采用通用链式法与高斯宽度，刻画与真实矩阵结构相关集合的复杂度。
• 为具有酉不变范数的矩阵推导几何度量（高斯宽度、限制相容常数）的一般上界。
• 将框架应用于特定范数：迹范数与谱k-支持范数，推导显式误差界。
• 在次高斯 $ X_i $ 与噪声 $ \omega_i $ 下建立高概率恢复保证，依赖于集中不等式。

实验结果

研究问题

• RQ1 广义Dantzig选择器能否在次高斯测量下为结构化矩阵提供非渐近恢复保证？
• RQ2 如何为一般矩阵结构有界高斯宽度与限制相容常数等几何度量？
• RQ3 使用迹范数与谱k-支持范数等酉不变范数时，结构化矩阵的估计误差率是多少？
• RQ4 所推导的界与现有矩阵补全与低秩恢复结果相比如何？
• RQ5 该框架能否应用于非低秩结构（如k-支持范数矩阵）并提供理论保证？

主要发现

• 对于秩为 $ r $ 的低秩矩阵，使用迹范数时，高概率下恢复误差满足 $ \|\hat{\Theta}-\Theta^*\|_F \leq O\left(\sqrt{\frac{rd}{n}} + \sqrt{\frac{rp}{n}}\right) $，当 $ n = O(r(d+p-r)) $ 时成立。
• 谱k-支持范数达到相同的误差率 $ \|\hat{\Theta}-\Theta^*\|_F \leq O\left(\sqrt{\frac{rd}{n}} + \sqrt{\frac{rp}{n}}\right) $，这是文献中的新结果。
• 恢复误差以几何度量（切锥的高斯宽度与限制相容常数）表示，实现了不同范数下的统一分析。
• 对于酉不变范数，推导出高斯宽度与限制相容常数的一般上界，便于应用于广泛矩阵范数类。
• 该框架超越低秩矩阵，首次在广义Dantzig选择器设置下，为谱k-支持范数提供了非渐近分析。
• 分析在次高斯测量与噪声下成立，高概率保证通过集中与通用链式法推导。