[论文解读] Reference Distance Estimator

Yanpeng Li|arXiv (Cornell University)|Aug 18, 2013

Text and Document Classification Technologies参考文献 10被引用 4

一句话总结

本文提出参考距离估计器（RDE），一种半监督线性分类器，通过利用能比随机预测更优地预测目标类别的参考特征 r，借助未标记数据估计特征权重。在条件独立性和预测性能提升的假设下，RDE 的性能可与在无限标记数据上训练的完全监督分类器相媲美；实验表明，仅使用 5,000 个标记样本和 1300 万个未标记样本，RDE 的性能即可匹配使用 1300 万个标记样本训练的模型。

ABSTRACT

A theoretical study is presented for a simple linear classifier called reference distance estimator (RDE), which assigns the weight of each feature j as P(r|j)-P(r), where r is a reference feature relevant to the target class y. The analysis shows that if r performs better than random guess in predicting y and is conditionally independent with each feature j, the RDE will have the same classification performance as that from P(y|j)-P(y), a classifier trained with the gold standard y. Since the estimation of P(r|j)-P(r) does not require labeled data, under the assumption above, RDE trained with a large number of unlabeled examples would be close to that trained with infinite labeled examples. For the case the assumption does not hold, we theoretically analyze the factors that influence the closeness of the RDE to the perfect one under the assumption, and present an algorithm to select reference features and combine multiple RDEs from different reference features using both labeled and unlabeled data. The experimental results on 10 text classification tasks show that the semi-supervised learning method improves supervised methods using 5,000 labeled examples and 13 million unlabeled ones, and in many tasks, its performance is even close to a classifier trained with 13 million labeled examples. In addition, the bounds in the theorems provide good estimation of the classification performance and can be useful for new algorithm design.

研究动机与目标

• 开发一种半监督学习方法，通过利用未标记样本，在仅使用极少标记数据的情况下实现高分类准确率。
• 分析参考特征 r 在何种条件下可产生与使用标准标签训练的分类器等效的分类器。
• 设计一种算法，选择最优参考特征，并结合使用标记和未标记数据的多个 RDE。
• 提供分类性能的理论边界，以指导算法设计与评估。

提出的方法

• RDE 将特征权重设为 P(r|j) - P(r)，其中 r 是对目标类别 y 具有预测能力的参考特征。
• 该方法依赖于假设：在给定目标类别 y 的条件下，r 与每个特征 j 条件独立。
• 当 r 对 y 的预测优于随机水平且满足条件独立性时，RDE 的性能与使用 P(y|j) - P(y)（即标准监督权重）训练的分类器相当。
• 当理想假设不成立时，提出一种算法，利用标记和未标记数据选择参考特征并组合多个 RDE。
• 推导出分类性能的理论边界，并证明其对算法设计具有实际指导意义。
• 通过实验在 10 个文本分类任务上评估 RDE，使用 5,000 个标记样本和 1300 万个未标记样本，并与完全监督基线模型进行比较。

实验结果

研究问题

• RQ1 在何种条件下，RDE 的性能可与使用标准标签训练的分类器等效？
• RQ2 当参考特征的条件独立性或预测能力假设被违反时，RDE 的性能如何退化？
• RQ3 能否有效组合由不同参考特征构建的多个 RDE 以提升分类准确率？
• RQ4 本文推导的理论性能边界在实际中对实际分类性能的估计效果如何？
• RQ5 在仅使用少量标记数据和海量未标记数据的情况下，RDE 能在多大程度上实现接近使用大量标记数据训练的完全监督模型的性能？

主要发现

• 当参考特征 r 与每个特征 j 条件独立且对目标类别 y 的预测优于随机水平时，RDE 的分类性能可与在无限标记数据上训练的完全监督分类器相媲美。
• 在 10 个文本分类任务中，使用 5,000 个标记样本和 1300 万个未标记样本的半监督 RDE，其性能优于仅使用 5,000 个标记样本训练的监督方法。
• 在许多任务中，RDE 的性能几乎与使用 1300 万个标记样本训练的分类器无异。
• 本文推导的理论边界能准确估计实际分类性能，可为未来算法设计提供指导。
• 用于选择参考特征并组合多个 RDE 的算法，在理想假设不成立时能有效缓解性能下降。
• 结果表明，当存在合适的参考特征时，未标记数据可在线性分类中被有效利用。