[论文解读] Positive-Unlabeled Learning with Non-Negative Risk Estimator

Ryuichi Kiryo, Gang Niu+2 more|arXiv (Cornell University)|Mar 2, 2017

Machine Learning and Data Classification参考文献 39被引用 139

一句话总结

本文提出一种针对 PU 学习的非负风险估计量，用以抑制在灵活模型上的过拟合，使在正样本-未标记数据上有效利用深度网络成为可能，并给出理论保证以及大规模训练算法。

ABSTRACT

From only positive (P) and unlabeled (U) data, a binary classifier could be trained with PU learning, in which the state of the art is unbiased PU learning. However, if its model is very flexible, empirical risks on training data will go negative, and we will suffer from serious overfitting. In this paper, we propose a non-negative risk estimator for PU learning: when getting minimized, it is more robust against overfitting, and thus we are able to use very flexible models (such as deep neural networks) given limited P data. Moreover, we analyze the bias, consistency, and mean-squared-error reduction of the proposed risk estimator, and bound the estimation error of the resulting empirical risk minimizer. Experiments demonstrate that our risk estimator fixes the overfitting problem of its unbiased counterparts.

研究动机与目标

• 在灵活模型中，动机是PU学习及其无偏风险估计器所引发的过拟合问题。
• 引入一个非负风险估计量，以防止经验风险为负及过拟合。
• 提供 nnPU 的偏差、一致性和均方误差（MSE）降低的理论分析。
• 提出一个适用于大规模、对 SGD 友好的算法，用于使用 nnPU 训练分类器。
• 在多种数据集上结合深度结构展示 nnPU 的实证改进。

提出的方法

• 回顾现有的无偏 PU 风险估计器及其在模型高度灵活时的局限性。
• Define the non-negative PU risk estimator ϑtenR_pu(g)=pi_p R_p^+(g) + max{0, R_u^-(g) - pi_p R_p^-(g)} within the PU framework.
• 提出一个基于 SGD 的大规模训练算法（算法1），在非负风险下最小化带有如 sigmoid 损失等的代理损失。
• 使用带有受控负风险项的随机优化方案以保持训练稳定。
• 给出 nnPU 估计量在偏差、一致性和均方误差降低方面的理论结果。
• 就代理损失和深度模型的实际实现考虑提供指导。

实验结果

研究问题

• RQ1 在高度灵活的模型下，非负风险估计量能否解决 PU 学习中的过拟合问题？
• RQ2 非负 PU 风险估计量的偏差、一致性和均方误差性质是什么？
• RQ3 在深度神经网络的大规模设置中，与 PN 和无偏 PU 学习相比，nnPU 的表现如何？
• RQ4 哪些代理损失函数适用于 nnPU，应该如何优化？
• RQ5 正类先验 pi_p 的设定错误如何影响 nnPU 的性能？

主要发现

• 在使用像深度神经网络这样的灵活模型时，nnPU 能减少无偏 PU 学习所观察到的过拟合。
• nnPU 估计量是有偏的但一致的；其风险以 O_p(pi_p/√n_p + 1/√n_u) 的速率收敛到真风险。
• 在若干基准数据集（MNIST、epsilon、CIFAR-10）上，nnPU 的测试风险低于无偏 PU 和 PN；在 20News 上达到与 PN 相同的表现。
• 所提出的大规模算法使得 nnPU 能在常见代理损失（如 sigmoid）下进行随机优化。
• 在典型假设与数据情境下，nnPU 相对于无偏 PU 估计量显示出均方误差的降低。