[论文解读] Online Low-Rank Subspace Clustering by Basis Dictionary Pursuit

Jie Shen, Ping Li+1 more|arXiv (Cornell University)|Mar 28, 2015

Sparse and Compressive Sensing Techniques参考文献 29被引用 44

一句话总结

本文提出了一种通过基字典追逐实现的在线低秩子空间聚类方法，将内存成本从 O(n²) 降低至 O(pd)，其中 p 为环境维度，d 为估计的秩。该方法实现了对期望损失函数的渐近收敛至驻点，并在合成数据集和真实数据集上表现出快速、鲁棒且内存高效的表现。

ABSTRACT

Low-Rank Representation (LRR) has been a significant method for segmenting data that are generated from a union of subspaces. It is also known that solving LRR is challenging in terms of time complexity and memory footprint, in that the size of the nuclear norm regularized matrix is n-by-n (where n is the number of samples). In this paper, we thereby develop a novel online implementation of LRR that reduces the memory cost from O(n2) to O(pd), with p being the ambient dimension and d being some estimated rank (d ≤ p ≪ n). We also establish the theoretical guarantee that the sequence of solutions produced by our algorithm converges to a stationary point of the expected loss function asymptotically. Extensive experiments on synthetic and realistic datasets further substantiate that our algorithm is fast, robust and memory efficient.

研究动机与目标

• 解决传统低秩表示（LRR）方法因 n×n 矩阵运算导致的时间复杂度高和内存占用大的问题，其复杂度为 O(n²)。
• 开发一种 LRR 的在线变体，能够在不存储完整数据矩阵的情况下动态处理数据流。
• 将内存使用量从 O(n²) 降低至 O(pd)，其中 d ≪ n 为估计的低秩，p 为环境维度。
• 建立算法解序列收敛至期望损失函数驻点的理论保证。
• 确保在大规模和流式数据子空间聚类应用中的可扩展性和鲁棒性。

提出的方法

• 采用基字典追逐框架构建在线 LRR，以在低维子空间中表示数据。
• 维护一个大小为 O(pd) 的紧凑字典，而非存储完整的 n×n 表示矩阵。
• 在新数据样本到达时增量式更新字典，实现在线处理。
• 使用核范数正则化以促进表示矩阵的低秩结构。
• 采用贪心追踪策略，选择最能代表当前数据子空间的基向量。
• 通过证明解序列趋近于期望损失函数的驻点，确保理论收敛性。

实验结果

研究问题

• RQ1 是否可以设计一种在线 LRR 方法，在显著降低内存使用量的同时保持聚类精度？
• RQ2 所提出的在线算法是否收敛至期望损失函数的驻点？
• RQ3 在大规模场景下，该方法的内存效率与批处理 LRR 相比如何？
• RQ4 在处理流式或大规模数据时，该算法是否能保持鲁棒性和高效性？
• RQ5 估计的秩 d 和环境维度 p 对算法性能及内存占用有何影响？

主要发现

• 所提方法将内存成本从 O(n²) 降低至 O(pd)，使大规模数据集（n 较大）的可扩展性成为可能。
• 该算法实现了对期望损失函数驻点的渐近收敛。
• 大量实验表明，与批处理 LRR 相比，该方法显著更快且内存效率更高。
• 在不同噪声水平和子空间条件下，该方法在合成数据集和真实世界数据集上均保持了鲁棒的性能。
• 该算法的在线特性使得无需完整存储数据即可实现增量式处理。