[论文解读] Unified View of Matrix Completion under General Structural Constraints

Suriya Gunasekar, Arindam Banerjee+1 more|arXiv (Cornell University)|Mar 29, 2016

Sparse and Compressive Sensing Techniques参考文献 40被引用 8

一句话总结

本文针对由任意范数正则化诱导的一般低秩结构约束，提出了一项统一的统计分析。利用泛化链和高斯宽度工具，证明样本复杂度相较于全局次高斯测量仅增加至多 log d 因子，并建立了局部化矩阵补全测量下的受限强凸性（RSC）性质。

ABSTRACT

In this paper, we present a unified analysis of matrix completion under general low-dimensional structural constraints induced by {\em any} norm regularization. We consider two estimators for the general problem of structured matrix completion, and provide unified upper bounds on the sample complexity and the estimation error. Our analysis relies on results from generic chaining, and we establish two intermediate results of independent interest: (a) in characterizing the size or complexity of low dimensional subsets in high dimensional ambient space, a certain partial complexity measure encountered in the analysis of matrix completion problems is characterized in terms of a well understood complexity measure of Gaussian widths, and (b) it is shown that a form of restricted strong convexity holds for matrix completion problems under general norm regularization. Further, we provide several non-trivial examples of structures included in our framework, notably the recently proposed spectral $k$-support norm.

研究动机与目标

• 解决在低秩或可分解范数之外的任意范数诱导的低维结构下的矩阵补全挑战。
• 为跨多样化结构约束的样本复杂度与估计误差分析，提供一个统一的理论框架。
• 通过适应矩阵补全中高度局部化的测量模型，克服现有基于RIP分析的局限性。
• 在局部化测量下，为一般范数正则化建立受限强凸性（RSC）条件。
• 证明无论使用何种范数，矩阵补全的样本复杂度均在全局次高斯测量样本复杂度的 log d 因子范围内。

提出的方法

• 在一般范数正则化下，形式化定义两种估计器：约束范数最小化器与广义矩阵Dantzig选择器。
• 使用高斯宽度作为几何复杂度度量，刻画高维环境空间中的误差集。
• 应用泛化链技术（Talagrand, 2014），对结构化集合上随机过程的期望上确界进行有界。
• 通过将误差集的高斯宽度与测量复杂度关联，推导出样本复杂度与估计误差的上界。
• 利用经验过程工具，证明在局部采样下，测量算子满足受限强凸性（RSC）条件。
• 借助高维统计领域成果（如Chandrasekaran等, 2012；Banerjee等, 2014），将其与更广泛的恢复理论相连接。

实验结果

研究问题

• RQ1 能否为任意范数正则化下的矩阵补全推导出统一的样本复杂度上界？
• RQ2 与全局次高斯测量相比，矩阵补全测量的局部化特性如何影响所需样本量？
• RQ3 在一般范数正则化下，矩阵补全是否满足受限强凸性（RSC）性质？
• RQ4 高斯宽度在多大程度上能刻画矩阵补全中结构化误差集的复杂度？
• RQ5 该框架能否容纳非可分解范数，如谱k-支持范数？

主要发现

• 在任意范数正则化下，矩阵补全的样本复杂度上界不超过全局次高斯测量样本复杂度的 log d 因子。
• 在高概率下，矩阵补全满足受限强凸性（RSC）性质，其参数满足 κ_{c₀} ≈ 1 − o(1/√log d)，确保稳定恢复。
• 约束范数最小化器与广义Dantzig选择器的估计误差，均可由误差集的高斯宽度与测量算子表示。
• 约束范数最小化器以高概率满足误差界 ‖Δ_cn‖_F² / (d₁d₂) ≤ 4ξ² / κ_{c₀}。
• 广义Dantzig选择器以高概率满足误差界 ‖Δ_ds‖_F² / (d₁d₂) ≤ (4λ_ds Ψ_R(T_R)) / (κ_{c₀}) × ‖Δ_ds‖_F / √(d₁d₂)。
• 该框架可包含非可分解结构（如谱k-支持范数）作为特例，扩展了对核范数与可分解范数的既有结果。