[论文解读] Online Multi-view Clustering with Incomplete Views

Weixiang Shao, Lifang He+2 more|arXiv (Cornell University)|Nov 2, 2016

Advanced Computing and Algorithms被引用 6

一句话总结

该论文提出了OMVC，这是首个专为大规模不完整视图数据设计的在线多视图聚类算法。通过将聚类建模为分块处理的联合加权非负矩阵分解问题，OMVC降低了内存使用量，动态下调缺失样本的权重，并通过Lasso正则化提升鲁棒性，从而在真实世界数据集上实现了最先进性能。

ABSTRACT

In the era of big data, it is common to have data with multiple modalities or coming from multiple sources, known as "multi-view data". Multi-view clustering provides a natural way to generate clusters from such data. Since different views share some consistency and complementary information, previous works on multi-view clustering mainly focus on how to combine various numbers of views to improve clustering performance. However, in reality, each view may be incomplete, i.e., instances missing in the view. Furthermore, the size of data could be extremely huge. It is unrealistic to apply multi-view clustering in large real-world applications without considering the incompleteness of views and the memory requirement. None of previous works have addressed all these challenges simultaneously. In this paper, we propose an online multi-view clustering algorithm, OMVC, which deals with large-scale incomplete views. We model the multi-view clustering problem as a joint weighted nonnegative matrix factorization problem and process the multi-view data chunk by chunk to reduce the memory requirement. OMVC learns the latent feature matrices for all the views and pushes them towards a consensus. We further increase the robustness of the learned latent feature matrices in OMVC via lasso regularization. To minimize the influence of incompleteness, dynamic weight setting is introduced to give lower weights to the incoming missing instances in different views. More importantly, to reduce the computational time, we incorporate a faster projected gradient descent by utilizing the Hessian matrices in OMVC. Extensive experiments conducted on four real data demonstrate the effectiveness of the proposed OMVC method.

研究动机与目标

• 解决大规模多视图数据聚类问题，其中视图不完整且数据无法全部加载到内存中。
• 克服现有多视图聚类方法对完整视图和全部数据在内存中的要求。
• 开发一种在线算法，通过增量处理数据以减少内存消耗，同时保持聚类准确性。
• 通过动态权重调整最小化不同视图中缺失实例的负面影响。
• 通过在潜在特征学习过程中引入Lasso正则化，提升对噪声和异常值的鲁棒性。

提出的方法

• OMVC将多视图聚类建模为联合加权非负矩阵分解（NMF）问题，以在各视图间学习潜在特征矩阵。
• 它采用分块处理而非将所有数据存储在内存中，从而实现对大规模数据集的可扩展性。
• 动态权重设置为每个视图中的缺失实例分配较低权重，以减少其对学习过程的影响。
• 学习共识矩阵并用于对各视图的潜在特征矩阵进行协同正则化，以促进一致性。
• 对潜在特征矩阵应用Lasso（ℓ1）正则化，以增强对噪声和异常值的鲁棒性。
• 采用更快的投影梯度下降方法，利用Hessian矩阵加速收敛。

实验结果

研究问题

• RQ1 能否在数据无法装入内存的大规模不完整视图数据集上有效应用在线多视图聚类？
• RQ2 如何对不同视图中的缺失实例进行动态下调权，以减少其对聚类的负面影响？
• RQ3 在不完整多视图聚类中，协同正则化强度与视图特定学习之间的最优平衡是什么？
• RQ4 Lasso正则化如何提升在存在噪声或异常值时所学潜在特征矩阵的鲁棒性？
• RQ5 在投影梯度下降中使用Hessian矩阵是否能显著减少在线多视图聚类中的计算时间？

主要发现

• OMVC在四个真实世界数据集上实现了最先进聚类性能，NMI和调整兰德指数均优于现有方法。
• 该算法表现出稳定的收敛性，目标函数损失随训练轮次减少并最终趋于稳定。
• 最优参数设置为 α ≈ 10⁻² 和 β ≈ 10⁻⁷，其中 α 控制共识影响，β 控制通过Lasso正则化实现的稀疏性。
• 敏感性分析表明，α 和 β 均显著影响性能，参数设置不佳将导致性能下降。
• 对缺失实例采用动态加权能有效减少其负面影响，提升聚类鲁棒性。
• 在优化过程中引入Hessian矩阵显著加速了收敛，减少了计算时间。