[论文解读] Robust Kernelized Multi-View Self-Representations for Clustering by Tensor Multi-Rank Minimization

Yanyun Qu, Jinyan Liu+2 more|arXiv (Cornell University)|Sep 15, 2017

Sparse and Compressive Sensing Techniques参考文献 14被引用 5

一句话总结

本文提出 Kt-SVD-MSC，一种用于多视图聚类的核化张量多元秩最小化方法，通过将数据映射到核诱导特征空间，将 t-SVD-MSC 扩展以处理非线性子空间。采用带有 l_{2,1} 范数子问题闭式解的 ADMM 优化方法，实现了最先进性能，尤其在具有挑战性的 Scene-15 数据集上表现优异，聚类分数近乎完美（NMI: 0.992，ACC: 0.990）。

ABSTRACT

Most recently, tensor-SVD is implemented on multi-view self-representation clustering and has achieved the promising results in many real-world applications such as face clustering, scene clustering and generic object clustering. However, tensor-SVD based multi-view self-representation clustering is proposed originally to solve the clustering problem in the multiple linear subspaces, leading to unsatisfactory results when dealing with the case of non-linear subspaces. To handle data clustering from the non-linear subspaces, a kernelization method is designed by mapping the data from the original input space to a new feature space in which the transformed data can be clustered by a multiple linear clustering method. In this paper, we make an optimization model for the kernelized multi-view self-representation clustering problem. We also develop a new efficient algorithm based on the alternation direction method and infer a closed-form solution. Since all the subproblems can be solved exactly, the proposed optimization algorithm is guaranteed to obtain the optimal solution. In particular, the original tensor-based multi-view self-representation clustering problem is a special case of our approach and can be solved by our algorithm. Experimental results on several popular real-world clustering datasets demonstrate that our approach achieves the state-of-the-art performance.

研究动机与目标

• 解决现有基于张量 SVD 的多视图聚类方法的局限性，这些方法仅限于线性子空间，在非线性数据上表现欠佳。
• 开发一种核化框架，将数据映射到特征空间，使非线性结构变为线性可分，以提升聚类性能。
• 通过张量多元秩最小化，制定一种鲁棒的核化多视图自表示聚类优化模型。
• 设计一种高效的基于 ADMM 的算法，通过闭式解确保收敛至全局最优解。
• 在多样化的现实世界数据集上展示卓越性能，包括 Scene-15 等具有挑战性的基准数据集。

提出的方法

• 提出一种基于张量 SVD 的多视图自表示聚类的核化版本（Kt-SVD-MSC），在再生核希尔伯特空间中运行，以捕捉非线性子空间结构。
• 通过使用张量多元秩最小化和 l_{2,1}-范数正则化目标来制定优化问题，以增强对噪声和异常值的鲁棒性。
• 应用交替方向乘子法（ADMM）处理多块问题，以高效求解非光滑凸优化问题。
• 推导出所有子问题的闭式解，特别是涉及 l_{2,1} 范数的子问题，实现精确且快速的计算。
• 利用核技巧隐式计算特征空间中的内积，无需显式映射，从而提升计算效率。
• 通过设置核函数为线性，确保原始 t-SVD-MSC 成为所提方法的特例，实现向后兼容。

实验结果

研究问题

• RQ1 核化是否能有效将基于张量 SVD 的多视图聚类扩展至处理来自非线性子空间的数据？
• RQ2 所提出的结合张量多元秩最小化的核化优化模型是否在聚类性能上优于现有线性和非线性多视图聚类方法？
• RQ3 在核化设置下，基于 ADMM 且具有 l_{2,1} 子问题闭式解的算法能否实现快速且稳定的收敛？
• RQ4 所提方法在具有复杂结构的基准数据集（如以高聚类难度著称的 Scene-15）上的表现如何？
• RQ5 与线性方法相比，核化方法在多视图数据的一致性和互补性保持方面具有多大程度的优势？

主要发现

• 所提出的 Kt-SVD-MSC 在 Scene-15 数据集上达到最先进性能，NMI 为 0.992，ACC 为 0.990，AR 为 0.983，F-score 为 0.984，显著优于所有对比方法。
• 在 Extended YaleB 数据集上，Kt-SVD-MSC 达到 NMI 0.893，ACC 0.896，F-score 0.832，表明其在人脸聚类任务中表现强劲。
• 在 ORL 数据集上，该方法实现 NMI 0.994，ACC 0.971，F-score 0.972，表明在物体和人脸识别任务中达到近乎完美的聚类结果。
• 在 COIL-20 数据集上，Kt-SVD-MSC 实现 NMI 0.992，ACC 0.990，F-score 0.985，证实其在通用物体聚类任务中的鲁棒性。
• 图 5 中的收敛曲线显示，该算法收敛迅速，重建误差和匹配误差在 15 次迭代内急剧下降并随后趋于稳定。
• 当使用线性核时，该方法可退化为原始 t-SVD-MSC 的特例，证实其理论一致性与更广泛的应用潜力。