[论文解读] Rank/Norm Regularization with Closed-Form Solutions: Application to Subspace Clustering

Yaoliang Yu, Dale Schuurmans|arXiv (Cornell University)|Feb 14, 2012

Sparse and Compressive Sensing Techniques参考文献 25被引用 22

一句话总结

该论文将Eckart-Young-Mirsky定理推广至所有酉不变范数，使秩/范数正则化问题能够获得闭式解。该理论被应用于子空间聚类，提出简单且可证明正确的算法，其性能与当前最先进方法相当，但计算速度比现有方法（如LRR）快三数量级以上。

ABSTRACT

When data is sampled from an unknown subspace, principal component analysis (PCA) provides an effective way to estimate the subspace and hence reduce the dimension of the data. At the heart of PCA is the Eckart-Young-Mirsky theorem, which characterizes the best rank k approximation of a matrix. In this paper, we prove a generalization of the Eckart-Young-Mirsky theorem under all unitarily invariant norms. Using this result, we obtain closed-form solutions for a set of rank/norm regularized problems, and derive closed-form solutions for a general class of subspace clustering problems (where data is modelled by unions of unknown subspaces). From these results we obtain new theoretical insights and promising experimental results.

研究动机与目标

• 将Eckart-Young-Mirsky定理推广至所有酉不变范数，将低秩逼近的理论基础从Frobenius范数和迹范数扩展至更广泛的情形。
• 利用该推广定理，为包含秩函数和任意酉不变范数的广泛类秩与范数正则化优化问题推导出闭式解。
• 将这些理论结果应用于子空间聚类，开发出能够同时估计子空间并聚类数据点的简单高效算法。
• 证明新算法在性能上可与当前最先进方法（如LRR和SSC）相媲美，但计算成本显著降低。
• 为在独立子空间假设下使用各种酉不变范数（包括迹范数、Frobenius范数和谱范数）提供理论依据。

提出的方法

• 通过证明：在任意酉不变范数下，矩阵的最佳低秩逼近始终通过保留SVD中前k个奇异值来实现，从而将Eckart-Young-Mirsky定理推广至所有酉不变范数。
• 利用推广定理作为核心分析工具，推导出涉及秩函数和任意酉不变范数的优化问题的闭式解。
• 通过将子空间聚类问题表述为在重构矩阵上最小化酉不变范数（如迹范数或Frobenius范数）与秩函数的组合，将闭式解应用于子空间聚类。
• 提出一类新算法——DSSIM、CSSIM、SSIM，其目标函数分别基于迹范数、Frobenius范数或谱范数，通过SVD实现闭式解。
• 利用闭式解得到的重构矩阵 $ Z $ 构建亲和矩阵 $ W_{ij} = |Z_{ij}| + |Z_{ji}| $，随后进行标准谱聚类以完成最终分割。
• 每种方法仅需调用一次SVD，避免了迭代优化，与LRR（每轮需约300次SVD）相比，计算成本大幅降低。

实验结果

研究问题

• RQ1 Eckart-Young-Mirsky定理能否推广至所有酉不变范数，而不仅限于Frobenius范数和迹范数？
• RQ2 在所有酉不变范数下，秩/范数正则化优化问题是否存在闭式解？若存在，其形式为何？
• RQ3 这些闭式解能否被有效应用于子空间聚类问题，以获得简单、快速且准确的算法？
• RQ4 在真实数据上，基于不同酉不变范数（如迹范数、Frobenius范数、谱范数）的算法在性能和计算成本上的表现如何比较？
• RQ5 在独立子空间假设下，所提算法是否具有理论上的正确性与抗噪鲁棒性？与现有最先进方法（如LRR和SSC）相比表现如何？

主要发现

• 推广后的Eckart-Young-Mirsky定理对所有酉不变范数均成立，证明最佳低秩逼近始终通过截断SVD保留前k个奇异值实现。
• 为包含迹范数、Frobenius范数和谱范数的广义秩与范数正则化问题类推导出闭式解。
• 在0%噪声的合成数据上，所有方法（包括SIM）均实现完美分割，验证了理想无噪声条件下的理论正确性。
• 在噪声环境下（如30–70%点被污染），DSSIM和CSSIM优于SIM及其他方法，其中CSSIM（迹范数）在精度上略胜SSIM（Frobenius范数）。
• LRR的运行速度显著慢于其他所有方法——每轮需约300次SVD，而DSSIM、CSSIM、SSIM和SIM每种仅需一次SVD，使其计算速度提升数个数量级。
• 在Hopkins155运动分割基准上，表现最佳的算法（CSSIM）在对每段序列调优正则化参数 $ heta $ 后，达到99.29%的准确率，接近最先进性能，且计算成本极低。