[论文解读] Towards Clustering-friendly Representations: Subspace Clustering via Graph Filtering

Zhengrui Ma, Zhao Kang+2 more|arXiv (Cornell University)|Jun 18, 2021

Advanced Graph Neural Networks参考文献 41被引用 7

一句话总结

本文提出了一种图滤波框架，用于学习子空间聚类的聚类友好表示，通过应用低通滤波器将图相似性注入特征，从而增强数据可分性。该方法实现了与深度学习模型相当的最先进性能，消融实验验证了其在降噪、结构保持和提升类别可分性方面的有效性。

ABSTRACT

Finding a suitable data representation for a specific task has been shown to be crucial in many applications. The success of subspace clustering depends on the assumption that the data can be separated into different subspaces. However, this simple assumption does not always hold since the raw data might not be separable into subspaces. To recover the ``clustering-friendly'' representation and facilitate the subsequent clustering, we propose a graph filtering approach by which a smooth representation is achieved. Specifically, it injects graph similarity into data features by applying a low-pass filter to extract useful data representations for clustering. Extensive experiments on image and document clustering datasets demonstrate that our method improves upon state-of-the-art subspace clustering techniques. Especially, its comparable performance with deep learning methods emphasizes the effectiveness of the simple graph filtering scheme for many real-world applications. An ablation study shows that graph filtering can remove noise, preserve structure in the image, and increase the separability of classes.

研究动机与目标

• 为解决原始数据在自然情况下无法被良好分离到子空间时子空间聚类的局限性。
• 开发一种表示学习策略，生成平滑且聚类友好的特征，而无需事先知晓图结构。
• 证明图滤波在各种数据集上能提升聚类性能，尤其在噪声或复杂数据条件下表现更优。
• 表明一种简单、非深度学习的图滤波方法可达到与复杂深度学习聚类方法相当的性能。

提出的方法

• 该方法使用k近邻构建数据驱动图，并应用对称归一化图拉普拉斯矩阵来建模数据流形。
• 通过迭代应用低通图滤波器来平滑特征表示，滤波核由图拉普拉斯矩阵的特征分解导出。
• 滤波过程被表述为 $ \mathbf{X}^{(k)} = (I + \alpha L_s)^{-k} \mathbf{X} $，其中 $ L_s $ 为对称归一化拉普拉斯矩阵，$ \alpha $ 控制平滑强度。
• 通过使用滤波后的表示迭代更新图，以优化相似性矩阵，实现自增强的表示学习。
• 该框架可与多种子空间聚类模型兼容，如低秩子空间聚类（LRSC）和截断鲁棒回归（TRR）。
• 该方法利用谱图理论，保留低频分量（结构），同时抑制高频噪声。

实验结果

研究问题

• RQ1 图滤波能否生成一种聚类友好表示，从而在非可分数据上提升子空间聚类性能？
• RQ2 图滤波在图像和文档数据中对降噪、结构保持和类别可分性的改善效果如何？
• RQ3 一种简单、非深度学习的图滤波方法是否能达到与最先进深度学习聚类方法相当的性能？
• RQ4 在噪声去除与表示判别力之间取得平衡时，最优滤波阶数（k）是多少？

主要发现

• 与原始数据相比，图滤波在损坏数据上的聚类准确率最高提升了6.5个百分点，证明了其强大的抗噪能力。
• 在COIL40数据集上，该方法实现了92.50%的NMI和87.22%的纯度，优于基线方法（Nie et al., 2016）报告的83.92%准确率。
• 当应用图滤波且 $ k=1 $ 时，PSNR从26.12提升至28.76，证实了有效的降噪效果。
• SSIM在 $ k=3 $ 时达到峰值，Fisher Score在 $ k=5 $ 时达到峰值，表明平滑与判别能力之间达到最佳平衡。
• 当 $ k > 8 $ 时性能下降，证实滤波阶数过大时会发生过度平滑。
• 消融实验表明，图滤波增强了数据可分性，保持了图像结构，并去除了高频噪声。