[论文解读] Unsupervised Ensemble Learning with Dependent Classifiers

Ariel Jaffe, Ethan Fetaya+3 more|arXiv (Cornell University)|Oct 20, 2015

Anomaly Detection Techniques and Applications参考文献 17被引用 5

一句话总结

本文提出了一种新颖的无监督集成学习框架，通过潜在变量结构建模分类器之间的依赖关系，即使在分类器强相关的情况下也能实现准确的元学习器构建。通过检测强相关分类器组并改进准确率估计，该方法——L-SML——在合成数据集和真实世界数据集（如DREAM挑战赛）上，显著降低了平衡误差，优于当前最先进的方法，包括那些假设条件独立的方法。

ABSTRACT

In unsupervised ensemble learning, one obtains predictions from multiple sources or classifiers, yet without knowing the reliability and expertise of each source, and with no labeled data to assess it. The task is to combine these possibly conflicting predictions into an accurate meta-learner. Most works to date assumed perfect diversity between the different sources, a property known as conditional independence. In realistic scenarios, however, this assumption is often violated, and ensemble learners based on it can be severely sub-optimal. The key challenges we address in this paper are:\ (i) how to detect, in an unsupervised manner, strong violations of conditional independence; and (ii) construct a suitable meta-learner. To this end we introduce a statistical model that allows for dependencies between classifiers. Our main contributions are the development of novel unsupervised methods to detect strongly dependent classifiers, better estimate their accuracies, and construct an improved meta-learner. Using both artificial and real datasets, we showcase the importance of taking classifier dependencies into account and the competitive performance of our approach.

研究动机与目标

• 为解决现有无监督集成学习方法在分类器之间假设条件独立性所带来的局限性，而这一假设在真实世界应用中常常被违反。
• 仅使用分类器的预测结果，以无监督方式检测分类器之间条件独立性的强违反情况。
• 开发一种鲁棒的元学习器，能够考虑分类器之间的依赖关系，并在无标签数据的情况下提升预测准确率。
• 通过真实世界数据集（包括DREAM体细胞突变挑战赛）展示分类器依赖关系对集成性能的实际影响。

提出的方法

• 提出一种具有中间层潜在变量的统计模型，以捕捉分类器之间的依赖关系，推广了Dawid和Skene模型。
• 引入一种基于谱聚类的算法，利用从成对预测一致性中导出的得分矩阵，检测强相关分类器子集。
• 开发一种改进的期望最大化（EM）算法，以在新的依赖模型下估计分类器准确率和组成员身份。
• 在稀疏元学习器设置中采用分组投票策略，从每个检测到的组中选择最佳分类器，以提升多样性与性能。
• 对弱依赖关系施加软先验，以稳定估计过程，并在存在噪声或弱相关分类器时提升鲁棒性。
• 利用从成对预测一致性中导出的得分矩阵，检测结构化依赖关系并指导模型聚类。

实验结果

研究问题

• RQ1 我们能否仅使用分类器的预测结果，在无监督条件下检测到分类器之间条件独立性的强违反？
• RQ2 分类器依赖关系如何影响假设条件独立性的标准无监督集成学习器的性能？
• RQ3 通过显式建模分类器之间的依赖关系，能否构建更准确的元学习器？
• RQ4 在真实世界应用中，分类器组结构对无监督集成学习准确率有何影响？

主要发现

• 在DREAM挑战赛S3数据集上，L-SML方法相比竞争性元学习器将平衡误差降低了20%以上，证明了建模依赖关系带来的显著性能提升。
• 在稀疏元学习器设置（挑战赛II）中，L-SML在S3数据集上实现了2.5的平衡误差，与在条件独立假设下的理想分类器性能相当，同时优于投票法和基于SML的方法。
• 在UCI Magic数据集上，L-SML显著优于标准SML，甚至优于假设条件独立性的理想分类器，证实了依赖关系建模的优势。
• 该方法在模拟数据和真实数据中均正确识别出强相关分类器组，证据来自附录中的条件协方差矩阵和分配结果。
• 仅当算法未能正确估计模型结构时，L-SML才出现性能下降，表明结构准确性对成功至关重要。
• 在所有测试数据集（包括DREAM挑战赛中的S1、S2和S3）上，L-SML均实现了最低的平衡误差，证实了其鲁棒性和优越性。