[论文解读] Text Classification Using Label Names Only: A Language Model Self-Training Approach

Meng Yu, Yunyi Zhang+5 more|arXiv (Cornell University)|Oct 14, 2020

Topic Modeling参考文献 45被引用 10

一句话总结

该论文提出 LOTClass，一种弱监督文本分类模型，仅使用标签名称（如 'sports'、'politics'）作为监督信号，在完全无标签数据上进行训练。通过利用预训练语言模型识别类别指示性词汇，并基于上下文化的词级别类别预测进行自训练，LOTClass 在 AG News 和 IMDB 等基准数据集上实现了约 90% 的准确率，无需任何标注文档，优于现有弱监督方法，并可与监督基线方法相媲美。

ABSTRACT

Current text classification methods typically require a good number of human-labeled documents as training data, which can be costly and difficult to obtain in real applications. Humans can perform classification without seeing any labeled examples but only based on a small set of words describing the categories to be classified. In this paper, we explore the potential of only using the label name of each class to train classification models on unlabeled data, without using any labeled documents. We use pre-trained neural language models both as general linguistic knowledge sources for category understanding and as representation learning models for document classification. Our method (1) associates semantically related words with the label names, (2) finds category-indicative words and trains the model to predict their implied categories, and (3) generalizes the model via self-training. We show that our model achieves around 90% accuracy on four benchmark datasets including topic and sentiment classification without using any labeled documents but learning from unlabeled data supervised by at most 3 words (1 in most cases) per class as the label name.

研究动机与目标

• 为解决文本分类中人工标注数据的高昂成本问题，使模型能够仅基于标签名称进行学习。
• 探究预训练语言模型是否能仅通过标签名称衍生的词级别监督实现有效的分类。
• 开发一种自训练框架，将词级别的类别理解泛化至文档级别的分类。
• 超越依赖远程监督或数据增强技术的现有弱监督方法。

提出的方法

• 通过使用预训练语言模型识别与标签名称语义相关的词汇，为每个类别构建类别词汇表。
• 训练语言模型通过掩码类别预测（MCP）任务，基于上下文预测某个词所隐含的类别。
• 利用训练好的模型对无标签文档生成高置信度预测，用于自训练。
• 在自训练过程中迭代优化预测的目标分布，以提升泛化能力。
• 应用一种自训练目标，利用模型最新版本在无标签数据上的预测结果更新模型参数。
• 利用预训练语言模型的上下文化表示，捕捉长距离语义依赖关系，以实现准确分类。

实验结果

研究问题

• RQ1 仅使用标签名称且无任何标注文档，文本分类模型能否实现高准确率？
• RQ2 预训练语言模型是否能有效从标签名称衍生的词级别监督中学习类别区分？
• RQ3 当仅以标签名称作为监督信号时，对无标签数据进行自训练是否能显著提升性能？
• RQ4 在低资源设置下，所提出方法与现有弱监督和半监督方法相比表现如何？

主要发现

• LOTClass 在四个基准数据集（AG News、DBPedia、IMDB 和 Amazon）上实现了约 90% 的准确率，且未使用任何标注文档。
• 该模型优于依赖远程监督或数据增强技术的现有弱监督方法。
• 自训练显著提升了性能，准确率随迭代更新逐步提高，反映出模型对预测的持续优化。
• 该方法超越了仅通过简单标签名称匹配微调 BERT 的基线模型，证明了上下文化词级别监督的必要性。
• 在通过掩码类别预测学习类别指示性词汇后，模型在文档级别分类上表现出良好的泛化能力。
• 即使每个类别仅使用一个词作为标签名称，性能依然强劲，凸显了标签名称作为监督信号的有效性。