[论文解读] Recovering True Classifier Performance in Positive-Unlabeled Learning

Shantanu Jain, Martha White+1 more|arXiv (Cornell University)|Feb 2, 2017

Machine Learning and Data Classification被引用 5

一句话总结

该论文提出了一种方法，通过利用类别先验和噪声比例，校正正例-未标记（PU）学习中训练的分类器的偏差性能估计。该方法推导出ROC曲线和精确率-召回率曲线的闭式校正公式，证明校正后的估计显著优于通常低估真实性能的标准PU评估方法。

ABSTRACT

A common approach in positive-unlabeled learning is to train a classification model between labeled and unlabeled data. This strategy is in fact known to give an optimal classifier under mild conditions; however, it results in biased empirical estimates of the classifier performance. In this work, we show that the typically used performance measures such as the receiver operating characteristic curve, or the precision-recall curve obtained on such data can be corrected with the knowledge of class priors; i.e., the proportions of the positive and negative examples in the unlabeled data. We extend the results to a noisy setting where some of the examples labeled positive are in fact negative and show that the correction also requires the knowledge of the proportion of noisy examples in the labeled positives. Using state-of-the-art algorithms to estimate the positive class prior and the proportion of noise, we experimentally evaluate two correction approaches and demonstrate their efficacy on real-life data.

研究动机与目标

• 解决在将未标记数据视为负例的正例-未标记数据上训练的分类器的性能评估偏差问题。
• 通过类别先验和噪声比例，形式化传统（真实）性能与PU估计性能之间的关系。
• 开发适用于ROC曲线和精确率-召回率曲线的实用校正方法，以在PU设置中恢复真实分类器性能。
• 使用真实世界数据集和最先进的先验估计技术，评估直接和间接校正方法的有效性。
• 提倡报告原始PU性能和校正后性能，以提高可解释性和可靠性。

提出的方法

• 利用正类先验α和噪声比例β，推导出传统设置下受试者工作特征曲线下面积（AUC）与PU设置下估计AUC之间的闭式解析关系。
• 通过引入相同的类别先验和噪声比例估计，将校正框架扩展至精确率-召回率曲线。
• 提出两种校正策略：一种是使用估计的α和β的直接方法，另一种是利用非传统分类器的经验ROC曲线的间接方法。
• 采用最先进的算法（如AlphaMax和基于互不可约性的估计）从未标记数据中估计α和β。
• 在多样化的现实世界数据集上验证校正性能，将校正估计值与保留测试集上的真实标签评估结果进行比较。
• 利用不可约性约束，在弱分布假设下确保类别先验和噪声比例的可识别性。

实验结果

研究问题

• RQ1 是否仅通过估计的类别先验和噪声比例，就能恢复在正例-未标记设置中训练的分类器的真实性能？
• RQ2 与标准PU估计的ROC和精确率-召回率曲线相比，校正后的曲线在准确性上表现如何？
• RQ3 在实际应用中，直接校正方法与间接校正方法哪种能提供更可靠的性能估计？
• RQ4 当标记的正样本中包含假正例时，引入噪声比例估计在多大程度上能改善性能恢复？
• RQ5 在真实世界PU学习问题中，真实性能未知时，应用这些校正方法是否可行且实用？

主要发现

• 所提出的校正方法在所有评估中均显著优于标准PU评估，后者始终低估真实分类器性能。
• 在所有评估的数据集中，基于非传统分类器经验ROC曲线的间接校正方法在准确性上优于直接方法。
• 校正后的AUC估计值与在代表性标记测试集上计算的真实AUC值显著接近，证明了引入类别先验和噪声比例的有效性。
• 当标记的正样本中包含假正例时，引入噪声比例估计显著改善了性能恢复，验证了该方法对标签噪声的鲁棒性。
• 在多样化的真实世界数据集上的实证结果证实，直接和间接校正方法在PU学习的性能估计中均具有可行性与实用性。
• 本研究表明，同时报告原始PU性能和校正后性能，能更完整、更准确地呈现分类器的行为特征。