[论文解读] Self-Expressive Decompositions for Matrix Approximation and Clustering

Eva L. Dyer, Tom Goldstein+3 more|arXiv (Cornell University)|May 4, 2015

Sparse and Compressive Sensing Techniques参考文献 31被引用 13

一句话总结

该论文提出SEED，一种可扩展的稀疏矩阵分解方法，通过贪心选择非相干数据向量构建基，并使用快速OMP变体计算稀疏表示。在充分条件下可实现精确的低秩矩阵恢复，在矩阵近似、聚类和去噪任务中显著降低计算成本的同时优于现有方法。

ABSTRACT

Data-aware methods for dimensionality reduction and matrix decomposition aim to find low-dimensional structure in a collection of data. Classical approaches discover such structure by learning a basis that can efficiently express the collection. Recently, "self expression", the idea of using a small subset of data vectors to represent the full collection, has been developed as an alternative to learning. Here, we introduce a scalable method for computing sparse SElf-Expressive Decompositions (SEED). SEED is a greedy method that constructs a basis by sequentially selecting incoherent vectors from the dataset. After forming a basis from a subset of vectors in the dataset, SEED then computes a sparse representation of the dataset with respect to this basis. We develop sufficient conditions under which SEED exactly represents low rank matrices and vectors sampled from a unions of independent subspaces. We show how SEED can be used in applications ranging from matrix approximation and denoising to clustering, and apply it to numerous real-world datasets. Our results demonstrate that SEED is an attractive low-complexity alternative to other sparse matrix factorization approaches such as sparse PCA and self-expressive methods for clustering.

研究动机与目标

• 开发一种稀疏矩阵分解方法的可扩展替代方案，如稀疏PCA和自表达聚类，避免学习全局基。
• 通过选择一组非相干数据向量作为基，实现精确的低秩矩阵恢复。
• 提供一种仅使用数据样本的计算高效方法，用于矩阵近似、聚类、去噪和异常值检测。
• 当显式计算误差不可行时，基于表示误差估计提供一种停止准则。
• 在真实世界数据集（包括图像和神经信号）上展示该方法的有效性。

提出的方法

• SEED使用oASIS（加速顺序非相干选择）从数据矩阵X中迭代选择与先前选择列非相干的列，避免相关性并确保线性无关。
• oASIS在Gram矩阵G = X^T X的子集上运行，实现高效列选择，无需计算完整的G矩阵。
• 该方法维护并使用秩-1更新和块矩阵求逆公式，对Gram矩阵的逆（W^{-1}）和矩阵R = W^{-1} C^T进行更新，以提高计算效率。
• 基选择完成后，SEED使用快速正交匹配追踪（OMP）变体计算数据的稀疏表示，利用更新后的逆Gram矩阵。
• 算法通过Schur补Δ_i在每一步估计表示误差，当低于阈值δ时作为停止准则。
• SEED利用块矩阵求逆和向量运算，在基构建过程中实现增量式、低复杂度的更新。

实验结果

研究问题

• RQ1 基于贪心非相干列选择策略，能否实现位于子空间并集中的数据的精确低秩矩阵恢复？
• RQ2 SEED能否为SSC和LRR等自表达方法提供可扩展的替代方案，避免在大N时存储和计算量达到O(N^2)？
• RQ3 SEED在矩阵近似和聚类任务中是否能以更低的计算成本优于稀疏PCA和最近邻方法？
• RQ4 来自Schur补Δ_i的表示误差估计在实践中能否有效用作停止准则？
• RQ5 SEED在真实世界应用（如图像和神经数据的去噪与异常值检测）中的表现如何？

主要发现

• 当所选列张成X的完整列空间时，SEED在基于非相干性和Schur补正定性的充分条件下可实现精确矩阵恢复。
• 该方法通过Schur补Δ_i在每一步提供表示误差估计，当误差低于阈值时可实现早期停止。
• 与SSC和LRR相比，SEED显著降低了计算成本，避免了完整邻接矩阵构建所需的O(N^2)存储和特征值计算。
• 在包括运动皮层神经信号和图像的真实世界数据集上，SEED在聚类和矩阵近似任务中实现了具有竞争力的性能，同时计算成本仅为现有方法的极小部分。
• 使用oASIS进行列选择可确保所选基向量线性无关且条件良好，从而提升表示效率。
• SEED通过利用稀疏表示和残差误差分析，实现了有效的去噪与异常值检测。