[论文解读] Non-Linear Fusion for Self-Paced Multi-View Clustering

Zongmo Huang, Yazhou Ren+2 more|arXiv (Cornell University)|Apr 19, 2021

Video Surveillance and Tracking Methods参考文献 30被引用 7

一句话总结

本文提出NSMVC，一种用于自步多视图聚类的非线性融合方法，通过根据视图质量为每个视图分配特定的指数来降低噪声影响。通过整合无正则化自步学习机制，NSMVC增强了鲁棒性和收敛性，在多个基准数据集上优于线性加权和自动加权的MVC方法，准确率、纯度和NMI均有所提升。

ABSTRACT

With the advance of the multi-media and multi-modal data, multi-view clustering (MVC) has drawn increasing attentions recently. In this field, one of the most crucial challenges is that the characteristics and qualities of different views usually vary extensively. Therefore, it is essential for MVC methods to find an effective approach that handles the diversity of multiple views appropriately. To this end, a series of MVC methods focusing on how to integrate the loss from each view have been proposed in the past few years. Among these methods, the mainstream idea is assigning weights to each view and then combining them linearly. In this paper, inspired by the effectiveness of non-linear combination in instance learning and the auto-weighted approaches, we propose Non-Linear Fusion for Self-Paced Multi-View Clustering (NSMVC), which is totally different from the the conventional linear-weighting algorithms. In NSMVC, we directly assign different exponents to different views according to their qualities. By this way, the negative impact from the corrupt views can be significantly reduced. Meanwhile, to address the non-convex issue of the MVC model, we further define a novel regularizer-free modality of Self-Paced Learning (SPL), which fits the proposed non-linear model perfectly. Experimental results on various real-world data sets demonstrate the effectiveness of the proposed method.

研究动机与目标

• 通过开发一种适应视图可靠性的非线性融合策略，解决多视图聚类中视图质量差异的挑战。
• 克服线性加权和均匀指数自动加权方法的局限性，这些方法会削弱可靠视图的同时减少噪声影响。
• 通过引入无正则化自步学习模式，缓解MVC中的非凸优化问题。
• 通过从低损失样本开始的渐进式训练，提升聚类的鲁棒性和收敛速度。
• 通过统一的、非线性且自适应的框架，在多个多视图数据集上实现最先进性能。

提出的方法

• 提出一种非线性融合机制，根据视图质量为每个视图的损失分配不同的指数，以降低受损视图的影响。
• 引入一种无正则化自步学习（SPL）模式，其目标函数完全由所选实例的聚类损失组成。
• 采用渐进式训练策略：最初在损失最小的实例上进行训练，逐步引入损失更高的实例。
• 使用由参数α（起始点）和T（总迭代次数）控制的自步调度，动态调整训练集大小。
• 通过一种迭代算法优化非凸目标函数，交替更新聚类分配和视图特定的指数。
• 在视图级融合中利用ℓ2,1-范数启发的原理，对每个视图的损失开方，以增强对异常值的鲁棒性。

实验结果

研究问题

• RQ1 与线性或均匀指数融合相比，具有视图特定指数的非线性融合是否能提升多视图聚类性能？
• RQ2 无正则化自步学习机制在非凸多视图聚类中如何提升优化稳定性和收敛性？
• RQ3 NSMVC在多大程度上减轻了低质量视图的负面影响，同时保留了可靠视图的信号？
• RQ4 所提出方法对超参数α和T的敏感性如何？其在不同数据集上是否保持一致的性能表现？
• RQ5 NSMVC中的渐进式训练策略是否相比现有方法能带来更快的收敛速度和更低的聚类结果方差？

主要发现

• NSMVC在所有数据集上均一致优于基线方法，包括在单个视图上使用k-means（KM(1)）和拼接特征（KM(All)）的结果，在ACC、纯度和NMI方面表现更优。
• 该方法在六个基准数据集上的平均ACC、纯度和NMI均达到最高，尤其在Handwritten Numerals和MSRCv1数据集上表现最佳。
• NSMVC在重复实验中表现出更低的标准差，表明其相比其他方法具有更高的鲁棒性。
• 收敛曲线显示，大约15次迭代内即可实现快速收敛，且随着知识积累，后期收敛速度进一步加快。
• 超参数敏感性分析表明，NSMVC在α和T的广泛取值范围内均表现稳定，说明其具有实际应用价值且易于进行超参数调优。
• 该方法显著优于AMGL、DMVC和SAMVC等自动加权MVC方法，证实了视图特定指数相比均匀指数的优势。