[论文解读] Online Unsupervised Multi-view Feature Selection

Weixiang Shao, Lifang He+3 more|arXiv (Cornell University)|Sep 27, 2016

Data Stream Mining Techniques参考文献 27被引用 9

一句话总结

该论文提出OMVFS，这是首个在线无监督多视角特征选择方法，可在极低内存占用下实时处理大规模或流式多视角数据。通过将非负矩阵分解（NMF）与图正则化及增量学习相结合，OMVFS在保留局部结构并适应概念漂移的同时，选择具有判别性的特征，相较于离线方法实现高达100倍的速度提升，且性能无损失。

ABSTRACT

In the era of big data, it is becoming common to have data with multiple modalities or coming from multiple sources, known as "multi-view data". Multi-view data are usually unlabeled and come from high-dimensional spaces (such as language vocabularies), unsupervised multi-view feature selection is crucial to many applications. However, it is nontrivial due to the following challenges. First, there are too many instances or the feature dimensionality is too large. Thus, the data may not fit in memory. How to select useful features with limited memory space? Second, how to select features from streaming data and handles the concept drift? Third, how to leverage the consistent and complementary information from different views to improve the feature selection in the situation when the data are too big or come in as streams? To the best of our knowledge, none of the previous works can solve all the challenges simultaneously. In this paper, we propose an Online unsupervised Multi-View Feature Selection, OMVFS, which deals with large-scale/streaming multi-view data in an online fashion. OMVFS embeds unsupervised feature selection into a clustering algorithm via NMF with sparse learning. It further incorporates the graph regularization to preserve the local structure information and help select discriminative features. Instead of storing all the historical data, OMVFS processes the multi-view data chunk by chunk and aggregates all the necessary information into several small matrices. By using the buffering technique, the proposed OMVFS can reduce the computational and storage cost while taking advantage of the structure information. Furthermore, OMVFS can capture the concept drifts in the data streams. Extensive experiments on four real-world datasets show the effectiveness and efficiency of the proposed OMVFS method. More importantly, OMVFS is about 100 times faster than the off-line methods.

研究动机与目标

• 解决高维、未标记的多视角数据超出内存容量时，如何有效选择有用特征的挑战。
• 实现在存在概念漂移的数据流上进行特征选择，其中数据以增量方式到达，且模式随时间演变。
• 利用多视角之间的一致性和互补信息，提升特征选择性能。
• 开发一种可扩展、内存高效的算法，在不存储全部历史数据的前提下保持高精度。
• 提供一种统一框架，结合在线学习、多视角融合与判别性特征选择。

提出的方法

• OMVFS使用非负矩阵分解（NMF）将无监督特征选择嵌入聚类目标函数中。
• 引入图正则化以保留数据的局部结构并增强特征的可分性。
• 采用联合NMF形式化方法，在所有视角上学习共识聚类指示矩阵，实现多视角融合。
• 通过增量优化策略以数据块形式处理数据，仅更新小型聚合矩阵，而非存储全部历史数据。
• 采用缓冲技术以保持模型适应性，并在流式数据中检测概念漂移。
• 通过在分解矩阵上进行稀疏学习实现特征选择，促进选择信息量丰富的特征。

实验结果

研究问题

• RQ1 在线特征选择方法能否在有限内存下有效处理大规模或流式多视角数据？
• RQ2 如何利用多视角之间的一致性和互补信息来提升无监督特征选择性能？
• RQ3 所提出的方法能否在不从头重新训练的情况下检测并适应数据流中的概念漂移？
• RQ4 在准确率和效率方面，在线方法与离线多视角特征选择方法相比表现如何？
• RQ5 该方法对超参数（如正则化权重和批大小）的选择在多大程度上具有鲁棒性？

主要发现

• OMVFS的推理速度相比最佳离线多视角特征选择方法最高可提升100倍，且性能无损失。
• 该方法在不同批大小下表现出稳定性能，表明对数据分块策略具有鲁棒性。
• OMVFS对超参数αv和βv相对不敏感，且随着所选特征数量的增加，性能持续提升。
• 缓冲机制使OMVFS能够有效捕捉流式数据中的概念漂移，长期保持模型相关性。
• 在四个真实世界数据集上的大量实验表明，OMVFS在内存和流式约束下，仍能保持聚类和特征选择任务的高准确率。
• 图正则化与共识聚类的结合显著提升了特征的可分性，相较于基线方法表现更优。