[论文解读] RDEC: Integrating Regularization into Deep Embedded Clustering for Imbalanced Datasets

Yaling Tao, Kentaro Takagi+1 more|arXiv (Cornell University)|Dec 6, 2018

Anomaly Detection Techniques and Applications参考文献 18被引用 11

一句话总结

本文提出RDEC，一种将虚拟对抗训练（VAT）整合进深度嵌入聚类的新型方法，以提升在类别不平衡数据集上的性能。通过正则化模型以增强对输入扰动的鲁棒性，RDEC提升了聚类的紧凑性，尤其对少数类表现更优，在MNIST数据集上达到98.41%的准确率，在高度不平衡的MNIST变体上达到85.45%，分别较DEC高出8%，较K-means高出近40%。

ABSTRACT

Clustering is a fundamental machine learning task and can be used in many applications. With the development of deep neural networks (DNNs), combining techniques from DNNs with clustering has become a new research direction and achieved some success. However, few studies have focused on the imbalanced-data problem which commonly occurs in real-world applications. In this paper, we propose a clustering method, regularized deep embedding clustering (RDEC), that integrates virtual adversarial training (VAT), a network regularization technique, with a clustering method called deep embedding clustering (DEC). DEC optimizes cluster assignments by pushing data more densely around centroids in latent space, but it is sometimes sensitive to the initial location of centroids, especially in the case of imbalanced data, where the minor class has less chance to be assigned a good centroid. RDEC introduces regularization using VAT to ensure the model's robustness to local perturbations of data. VAT pushes data that are similar in the original space closer together in the latent space, bunching together data from minor classes and thereby facilitating cluster identification by RDEC. Combining the advantages of DEC and VAT, RDEC attains state-of-the-art performance on both balanced and imbalanced benchmark/real-world datasets. For example, accuracies are as high as 98.41% on MNIST dataset and 85.45% on a highly imbalanced dataset derived from the MNIST, which is nearly 8% higher than the current best result.

研究动机与目标

• 解决深度聚类方法在类别不平衡数据集上性能下降的问题，其中少数类样本代表性不足，常被错误聚类。
• 克服DEC中因随机初始化导致少数类聚类收敛性差的初始中心问题。
• 缓解边缘数据问题，即远离聚类中心的数据点被不成比例地分配给小聚类。
• 通过正则化提升模型鲁棒性，尤其增强对真实世界数据中稀有但有意义模式的聚类紧凑性。
• 开发一种在无需标注数据的前提下，既能保持在平衡数据集上高性能，也能在高度不平衡数据集上表现优异的方法。

提出的方法

• 将虚拟对抗训练（VAT）集成至深度嵌入聚类（DEC）框架中，以正则化模型对微小输入扰动的鲁棒性。
• 利用VAT促使模型在面对对抗性扰动时，仍能为相似数据点生成一致的潜在表征。
• 在聚类优化阶段应用VAT，推动相似样本（尤其是少数类样本）在潜在空间中更紧密聚集。
• 保持DEC通过最小化预测聚类分配与基于软分配生成的目标分布之间KL散度的优化目标。
• 采用两阶段训练流程：先预训练自编码器，再联合优化聚类与正则化目标。
• 基于早停策略设定收敛标准，当聚类损失在50轮内未改善时停止训练。

实验结果

研究问题

• RQ1 虚拟对抗训练（VAT）是否能通过增强模型鲁棒性，有效提升在类别不平衡数据集上的聚类性能？
• RQ2 将VAT集成进DEC是否能降低对初始聚类中心位置的敏感性，尤其对少数类而言？
• RQ3 VAT能否缓解边缘数据问题，即远离或类似异常值的样本被错误分配给小聚类？
• RQ4 RDEC在平衡与高度不平衡的真实世界数据集上，与基线聚类方法（K-means、AE+K-means、DEC）相比表现如何？
• RQ5 在半导体晶圆缺陷分类等真实应用中，RDEC在多大程度上保持了少数类聚类的完整性？

主要发现

• RDEC在MNIST数据集上实现了98.41%的聚类准确率，表现达到当前最先进水平，与监督学习性能相当。
• 在最小类别比例为0.06%的高度不平衡MNIST变体上，RDEC达到85.45%的准确率——较DEC高出8%，较K-means高出近40%。
• 在晶圆缺陷图聚类任务中，RDEC实现79.86%的准确率，较DEC提升37.76%，有效将稀有缺陷模式聚合成一致的聚类。
• RDEC成功将最大类别（占68.57%）的大部分晶圆归为单一聚类，而DEC则将其分散于多个聚类中。
• 该方法在识别并整合小型、独特的聚类（如占比0.12%和0.06%的类别10与11）方面表现出色，对早期缺陷检测至关重要。
• VAT的集成显著提升了模型对输入扰动的鲁棒性，使聚类结构更加紧凑且有意义，尤其对少数类效果显著。