[论文解读] Multilabel Consensus Classification

Sihong Xie, Xiangnan Kong+3 more|arXiv (Cornell University)|Oct 16, 2013

Text and Document Classification Technologies参考文献 13被引用 3

一句话总结

本文提出了 MLCM-r 和 MLCM-a 两种新型多标签共识分类算法，通过联合建模标签相关性和模型共识，分别优化排序损失和微 AUC。这些方法在无需访问原始训练或测试数据的情况下，在多标签任务上将排序损失降低高达 45%，微 AUC 提高 20%。

ABSTRACT

In the era of big data, a large amount of noisy and incomplete data can be collected from multiple sources for prediction tasks. Combining multiple models or data sources helps to counteract the effects of low data quality and the bias of any single model or data source, and thus can improve the robustness and the performance of predictive models. Out of privacy, storage and bandwidth considerations, in certain circumstances one has to combine the predictions from multiple models or data sources to obtain the final predictions without accessing the raw data. Consensus-based prediction combination algorithms are effective for such situations. However, current research on prediction combination focuses on the single label setting, where an instance can have one and only one label. Nonetheless, data nowadays are usually multilabeled, such that more than one label have to be predicted at the same time. Direct applications of existing prediction combination methods to multilabel settings can lead to degenerated performance. In this paper, we address the challenges of combining predictions from multiple multilabel classifiers and propose two novel algorithms, MLCM-r (MultiLabel Consensus Maximization for ranking) and MLCM-a (MLCM for microAUC). These algorithms can capture label correlations that are common in multilabel classifications, and optimize corresponding performance metrics. Experimental results on popular multilabel classification tasks verify the theoretical analysis and effectiveness of the proposed methods.

研究动机与目标

• 解决在因隐私、带宽或存储限制而无法访问训练和测试数据时，如何结合多个模型的多标签预测的挑战。
• 克服现有预测组合方法的局限性，这些方法专为单标签分类设计，在多标签设置下性能下降。
• 开发显式利用基模型预测仅建模标签相关性的算法，以提升多标签分类性能。
• 通过使共识机制与底层标签相关性结构对齐，正式优化广泛使用的多标签评估指标——排序损失和微 AUC。
• 提供理论依据，证明所提方法在其各自指标下为最优，填补了多标签共识学习中的空白。

提出的方法

• MLCM-r 通过在标签空间中的随机游走推断标签相关性并整合预测，目标是最小化排序损失。
• 该算法将标签相关性建模为标签图上的马尔可夫链，其中转移概率由基模型预测推导得出。
• MLCM-a 将预测整合表述为一个优化问题，通过利用标签间的部分相关性来正则化预测，以最大化微 AUC。
• MLCM-a 的目标函数设计使得其解在渐近意义上可最优地优化微 AUC，从而捕捉标签间的条件依赖关系。
• 两种算法均仅基于基模型的预测运行，无需原始数据，且可扩展至大规模多标签数据集。
• 理论分析证明，在所提出的框架下，MLCM-r 可最小化排序损失，MLCM-a 可最大化微 AUC。

实验结果

研究问题

• RQ1 当仅能访问模型预测而无法获取原始数据时，能否有效将预测组合方法扩展至多标签分类？
• RQ2 在无法访问训练或测试数据的情况下，如何对多标签共识分类中的标签相关性进行建模与利用？
• RQ3 能否将基于共识的算法与特定的多标签评估指标（如排序损失和微 AUC）正式关联？
• RQ4 是否可能设计一种优化框架，联合建模标签相关性和模型共识，以提升多标签预测性能？
• RQ5 所提算法在真实世界多标签数据集上是否在排序损失和微 AUC 两项指标上均优于现有基线？

主要发现

• MLCM-r 在六个多标签分类任务上相比基线方法将排序损失降低了高达 45%。
• MLCM-a 相比基线将微 AUC 提高了高达 20%，在微 AUC 指标上表现出更优性能。
• 理论分析确认，在所提出的优化框架下，MLCM-r 最小化排序损失，MLCM-a 最大化微 AUC。
• 实验表明，建模标签相关性可显著提升性能，优于将标签独立处理的方法。
• 在所有六个测试的多标签数据集中，所提方法均优于三种基线，验证了其鲁棒性与泛化能力。
• 性能提升在各类多标签任务中保持一致，包括文本和图像分类、生物信息学以及文档标注等。