[论文解读] Subspace Clustering using Ensembles of $K$-Subspaces

John Lipor, David Hong+2 more|arXiv (Cornell University)|Sep 14, 2017

Face and Expression Recognition参考文献 51被引用 8

一句话总结

本文提出了一种新型几何子空间聚类算法——集成K-子空间（EKSS），该算法通过证据累积聚类方法，将多次随机初始化的K-子空间算法运行结果进行融合。EKSS基于共识聚类构建共关联亲和矩阵，在经验性能上达到当前最先进水平，并首次为证据累积聚类及K-子空间变体在单调内积亲和模型下提供了理论恢复保证。

ABSTRACT

Subspace clustering is the unsupervised grouping of points lying near a union of low-dimensional linear subspaces. Algorithms based directly on geometric properties of such data tend to either provide poor empirical performance, lack theoretical guarantees, or depend heavily on their initialization. We present a novel geometric approach to the subspace clustering problem that leverages ensembles of the K-subspaces (KSS) algorithm via the evidence accumulation clustering framework. Our algorithm, referred to as ensemble K-subspaces (EKSS), forms a co-association matrix whose (i,j)th entry is the number of times points i and j are clustered together by several runs of KSS with random initializations. We prove general recovery guarantees for any algorithm that forms an affinity matrix with entries close to a monotonic transformation of pairwise absolute inner products. We then show that a specific instance of EKSS results in an affinity matrix with entries of this form, and hence our proposed algorithm can provably recover subspaces under similar conditions to state-of-the-art algorithms. The finding is, to the best of our knowledge, the first recovery guarantee for evidence accumulation clustering and for KSS variants. We show on synthetic data that our method performs well in the traditionally challenging settings of subspaces with large intersection, subspaces with small principal angles, and noisy data. Finally, we evaluate our algorithm on six common benchmark datasets and show that unlike existing methods, EKSS achieves excellent empirical performance when there are both a small and large number of points per subspace.

研究动机与目标

• 为解决几何子空间聚类方法常存在的经验性能差、缺乏理论保证或对初始化高度依赖等问题。
• 构建一个适用于亲和矩阵接近成对绝对内积单调变换的一般性恢复框架。
• 设计一种基于新式集成的K-子空间算法（EKSS），通过共识聚类提升聚类的鲁棒性与准确性。
• 首次为证据累积聚类以及任何K-子空间算法变体提供理论恢复保证。
• 在多样化的基准数据集上展示优越的经验性能，尤其在每子空间点数较少或较多的挑战性设置下表现突出。

提出的方法

• EKSS采用证据累积聚类框架，通过多次随机初始化运行K-子空间算法，并将结果聚合为共关联矩阵。
• 共关联矩阵条目(i,j)表示在所有运行中点i与点j被聚为同一类的次数，构成亲和矩阵。
• 该方法证明了K-子空间的第一轮迭代所产生的亲和矩阵条目接近于数据点间绝对内积的单调函数。
• 这使得EKSS能够在与当前最先进算法相同的条件下继承理论恢复保证，基于内积亲和的单调性。
• 算法在归一化后应用于合成与真实世界数据集，若有益则进一步进行白化处理与降维。
• 为保证公平比较，EKSS使用1000次试验，并选取误差最小的聚类结果，各数据集参数独立调优。

实验结果

研究问题

• RQ1 在具有挑战性的条件下，基于随机初始化的K-子空间算法集成能否实现鲁棒且准确的子空间聚类？
• RQ2 使用K-子空间的证据累积聚类是否能生成支持理论恢复保证的亲和矩阵？
• RQ3 成对绝对内积的单调变换能否作为可证明正确的子空间聚类的理论基础？
• RQ4 在每子空间点数不同的基准数据集上，EKSS相较于当前最先进方法表现如何？
• RQ5 数据预处理（如白化与降维）对EKSS及其他算法的性能有何影响？

主要发现

• EKSS在六个基准数据集（包括Hopkins-155、Yale、COIL-20、COIL-100、USPS和MNIST-10k）上实现了当前最先进经验性能。
• 在合成数据上，算法在子空间交集较大、主夹角较小及含噪声等挑战性设置下表现优异。
• 无论每子空间点数多少，EKSS均保持强大性能，而许多现有方法在该设置下会失效。
• 理论分析表明，EKSS的亲和矩阵接近于绝对内积的单调变换，从而在与当前最先进算法相似的条件下实现可证明恢复。
• 本工作首次为证据累积聚类以及任何K-子空间算法变体提供了理论恢复保证。
• 在Hopkins-155数据集上，EKSS实现聚类误差d=3, q=2；在Yale数据集上实现d=2, q=6，表明其在多样化数据结构上均表现强劲。