[论文解读] Robust Subspace Recovery via Bi-Sparsity Pursuit

Xiao Bian, Hamid Krim|arXiv (Cornell University)|Mar 31, 2014

Sparse and Compressive Sensing Techniques被引用 8

一句话总结

本文提出了一种新颖的算法——基于双稀疏性追踪的鲁棒子空间恢复（RoSuRe），用于在高维数据遭受任意稀疏污染的情况下，联合恢复低维子空间与稀疏误差。通过建立一个具有双稀疏性模型的非凸优化问题，该方法在充分条件下实现了精确恢复，并在合成数据与真实世界视觉数据上表现出色。

ABSTRACT

Successful applications of sparse models in computer vision and machine learning imply that in many real-world applications, high dimensional data is distributed in a union of low dimensional subspaces. Nevertheless, the underlying structure may be affected by sparse errors and/or outliers. In this paper, we propose a bi-sparse model as a framework to analyze this problem and provide a novel algorithm to recover the union of subspaces in presence of sparse corruptions. We further show the effectiveness of our method by experiments on both synthetic data and real-world vision data.

研究动机与目标

• 解决当所有数据样本均受稀疏误差污染时，联合子空间（UoS）恢复的挑战，此类污染会破坏子空间结构与聚类特性。
• 克服现有方法仅假设部分数据被污染的局限性，建模所有样本均受影响的情形。
• 同时恢复数据在子空间中的正确划分、底层低秩子空间以及稀疏误差矩阵。
• 为在所提出的优化框架下实现真实子空间结构与误差矩阵的精确恢复，提供理论条件。

提出的方法

• 将问题表述为一个非凸优化问题，通过最小化表示矩阵 W 的 0-范数与误差矩阵 E 的 0-范数的加权组合来实现，权重参数为 λ。
• 引入双稀疏性模型，其中数据矩阵 X 被分解为一个低秩矩阵 L（表示干净子空间）与一个稀疏误差矩阵 S，且 L 满足块对角表示约束。
• 定义优化目标为 f(L, E) = ||W||₀ / λ + ||E||₀，其中 W 为表示矩阵，满足 L = LW，且 E = X - L。
• 提出 RoSuRe 算法，通过交替最小化与阈值化步骤，迭代逼近非凸问题的全局最小解。
• 使用正交投影算子 P_{Ω_A} 与 P_{Ω_A^c} 分离误差矩阵的支撑集，并在解中强制实现稀疏性。
• 基于误差稀疏性与表示结构之间的关系，通过解空间的扰动分析，建立精确恢复的充分条件。

实验结果

研究问题

• RQ1 是否存在一个统一框架，可在所有数据样本均受污染的情况下，同时恢复底层的联合子空间与稀疏误差？
• RQ2 在全样本污染情形下，何种理论条件可确保真实子空间结构与误差矩阵的精确恢复？
• RQ3 所提出的双稀疏性模型相较于现有低秩与稀疏表示模型，在处理普遍稀疏污染时表现如何？
• RQ4 RoSuRe 算法在实际中能否有效逼近非凸优化问题的全局解？
• RQ5 RoSuRe 在不同污染水平下的合成数据与真实世界计算机视觉数据集上，其经验性能如何？

主要发现

• 所提出的 RoSuRe 算法即使在所有样本均受稀疏误差污染的情况下，仍能成功恢复数据在子空间中的正确划分与底层低秩结构。
• 证明了精确恢复的充分条件：若 λ ≥ ||W₀||₁ / σ，其中 σ 为扰动 ℓ₁-范数差异的下界，则真实解即为全局最小解。
• 在合成数据上的实验表明，RoSuRe 在理论条件满足时达到 100% 的恢复准确率，且对高稀疏度具有鲁棒性。
• 在真实世界视觉数据（如人脸与动作捕捉数据集）上，RoSuRe 在子空间聚类与误差校正任务中优于基线方法。
• 即使在子空间重叠或数据高度污染的情况下，该方法仍表现出色，表明其对复杂噪声模式具有强鲁棒性。
• 理论分析确认，在推导的条件下，非凸问题的全局最小解对应于真实的子空间与误差分解。