[论文解读] Robust Discriminative Clustering with Sparse Regularizers

Nicolas Flammarion, Balamurugan Palaniappan+1 more|arXiv (Cornell University)|Aug 29, 2016

Sparse and Compressive Sensing Techniques参考文献 17被引用 8

一句话总结

该论文提出了一种鲁棒的、稀疏正则化的判别式聚类框架，通过凸优化联合执行降维和聚类。该方法引入了一种新颖的稀疏扩展，具有理论保证，并提出了一种$O(nd^2)$复杂度的高效算法，在聚类恢复方面优于非稀疏方法和交替优化方法，尤其在存在无关特征的高维设置下表现更优。

ABSTRACT

Clustering high-dimensional data often requires some form of dimensionality reduction, where clustered variables are separated from "noise-looking" variables. We cast this problem as finding a low-dimensional projection of the data which is well-clustered. This yields a one-dimensional projection in the simplest situation with two clusters, and extends naturally to a multi-label scenario for more than two clusters. In this paper, (a) we first show that this joint clustering and dimension reduction formulation is equivalent to previously proposed discriminative clustering frameworks, thus leading to convex relaxations of the problem, (b) we propose a novel sparse extension, which is still cast as a convex relaxation and allows estimation in higher dimensions, (c) we propose a natural extension for the multi-label scenario, (d) we provide a new theoretical analysis of the performance of these formulations with a simple probabilistic model, leading to scalings over the form $d=O(\sqrt{n})$ for the affine invariant case and $d=O(n)$ for the sparse case, where $n$ is the number of examples and $d$ the ambient dimension, and finally, (e) we propose an efficient iterative algorithm with running-time complexity proportional to $O(nd^2)$, improving on earlier algorithms which had quadratic complexity in the number of examples.

研究动机与目标

• 解决现有非凸、基于交替优化的聚类方法在理论分析和可扩展性方面的不足。
• 为判别式聚类引入一种稀疏扩展，实现特征选择，并在存在无关变量的高维数据中实现更优性能。
• 提供一种凸松弛框架，隐式处理聚类平衡，无需超参数。
• 自然地将判别式聚类公式扩展至多标签场景，同时保持凸性。
• 设计一种时间复杂度与样本数量呈线性依赖的高效算法，优于以往基于$O(n^2)$时间复杂度的方法。

提出的方法

• 将联合聚类与降维重新表述为等价于带平方损失的判别式聚类的凸优化问题。
• 在投影向量$w$上引入$\ell_1$-正则化以强制稀疏性，从而实现相关特征的选择。
• 将稀疏判别式聚类问题表述为一种保持理论可处理性的凸松弛。
• 通过使用标签矩阵$Y$对每个数据点建模多个标签，将框架扩展至多标签聚类。
• 提出一种时间复杂度为$O(nd^2)$的迭代算法，显著优于以往基于$O(n^2)$的方法。
• 使用中心化投影$\Pi_n = I_n - \frac{1}{n}1_n1_n^T$来处理基于相关性的目标函数中的均值中心化。

实验结果

研究问题

• RQ1 能否推导出一种联合聚类与降维的凸公式，使其等价于现有的判别式聚类框架？
• RQ2 在判别式聚类中引入稀疏正则化是否能保持凸性，并在高维数据中提升聚类恢复性能？
• RQ3 在稀疏和仿射不变情况下，环境维度$d$、样本量$n$与可聚类性之间的理论缩放规律是什么？
• RQ4 所提出的方法能否自然地扩展至多标签聚类，同时保持凸性和效率？
• RQ5 能否设计出一种时间复杂度为$O(nd^2)$的算法，使其在实践中优于现有的$O(n^2)$方法？

主要发现

• 所提出的稀疏判别式聚类方法在多个二分类数据集（包括Heart、Breast-cancer和Sonar）上，其聚类误差低于非稀疏判别式聚类、交替优化和$K$-means方法。
• 在高维DNA(1 vs 2,3)数据集（$d=180$）上，稀疏方法的聚类误差为75%，而非稀疏方法为83%，表明其对无关特征具有更强的鲁棒性。
• 在$a1a$数据集（$d=113$）上，稀疏方法的误差为74%，优于$K$-means（80%）和交替优化（98%），凸显其在高维场景下的有效性。
• 在$w1a$数据集（$d=290$）上，稀疏方法的误差为11%，显著优于$K$-means（16%）和交替优化（92%），证实其在噪声大、高维场景下的优越性。
• 在COCO数据集上的多标签实验中，使用$k=30$个预测标签，该方法成功恢复了10个高度相关的标签（如person、car、chair），展示了其在无监督多标签发现中的有效性。
• 理论分析表明，在仿射不变情况下，$d = O(\sqrt{n})$足以实现聚类恢复；在稀疏情况下，$d = O(n)$，表明在可聚类性条件下具有有利的缩放特性。