[论文解读] Predicting the Effectiveness of Self-Training: Application to Sentiment Classification

Vincent Van Asch, Walter Daelemans|arXiv (Cornell University)|Jan 13, 2016

Topic Modeling参考文献 21被引用 15

一句话总结

本文提出使用语料相似性度量——特别是测试集与训练集之间的相似性——来预测自训练是否能提升情感分类性能。通过利用相似性分数（例如，Jensen-Shannon散度），该方法以高精度预测自训练的增益，表明仅使用测试集/训练集相似性就已足够，且通常为最优化的可靠预测方式。

ABSTRACT

The goal of this paper is to investigate the connection between the performance gain that can be obtained by selftraining and the similarity between the corpora used in this approach. Self-training is a semi-supervised technique designed to increase the performance of machine learning algorithms by automatically classifying instances of a task and adding these as additional training material to the same classifier. In the context of language processing tasks, this training material is mostly an (annotated) corpus. Unfortunately self-training does not always lead to a performance increase and whether it will is largely unpredictable. We show that the similarity between corpora can be used to identify those setups for which self-training can be beneficial. We consider this research as a step in the process of developing a classifier that is able to adapt itself to each new test corpus that it is presented with.

研究动机与目标

• 识别自训练在情感分类中提升性能的条件，特别是在训练数据与测试数据分布不同的情况下。
• 探究语料相似性是否可作为自训练成功或失败的可靠预测指标。
• 评估选择单一最相似的未标注语料是否优于使用所有可用的未标注数据。
• 评估相似性度量（如余弦相似度、KL散度、JS散度）在预测自训练结果方面的效用。
• 支持开发自适应分类器，使其能够自动选择最优数据用于领域自适应。

提出的方法

• 采用两步自训练流程：先在标注数据上训练，再对未标注数据预测标签，最后在合并的标注与伪标签数据上重新训练。
• 采用多种相似性度量方法——余弦距离、Kullback-Leibler散度和Jensen-Shannon散度——来量化训练语料、测试语料以及额外未标注语料之间的相似性。
• 应用监督与无监督预测模型，基于相似性特征预测自训练性能。
• 通过仅使用测试集/训练集相似性作为特征的留一法实验，评估其预测能力。
• 使用宏平均F1分数和‘增益’预测（POS类别）的精确率来评估模型性能。
• 利用相似性度量在向量空间中可视化语料间关系，以增强可解释性。

实验结果

研究问题

• RQ1 语料相似性能否预测自训练在情感分类中是否带来性能增益？
• RQ2 测试语料与训练语料之间的相似性是否比涉及额外未标注数据的相似性更具预测信息量？
• RQ3 使用多种相似性度量是否相比仅使用测试/训练相似性，能更准确地预测自训练的有效性？
• RQ4 哪种相似性度量（如余弦、KL、JS散度）能最准确地预测自训练增益？
• RQ5 分类器能否基于与测试数据的相似性，自动选择最有益的未标注语料用于自训练？

主要发现

• 仅使用测试/训练相似性已高度具信息量，且通常足以预测自训练增益，优于使用多种相似性特征的模型。
• Jensen-Shannon散度在预测自训练成功方面的精确率和特异性方面始终优于其他度量方法。
• 使用三种相似性特征（测试/训练、测试/额外、额外/训练）可增加预测到的增益案例数（真正例），但可能同时增加假正例，尤其在使用Kullback-Leibler散度时。
• 对于余弦距离，增加额外特征导致假正例多于真正例，从而降低宏平均F1分数。
• 当缺乏特定测试/训练组合的先验数据时，测试语料与训练语料之间的相似性是预测自训练结果最可靠的指标。
• 结果表明，领域相似性是领域自适应中的关键因素，而标准化的相似性度量将极大提升对自适应技术的客观评估。