[论文解读] X-Class: Text Classification with Extremely Weak Supervision

Zihan Wang, Dheeraj Mekala+1 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 19被引用 7

一句话总结

X-Class 提出了一种新颖的文本分类框架，仅使用类别名称作为监督信号，通过基于 BERT 的自适应表示和聚类技术生成高质量的伪标签训练数据。该方法在 7 个基准数据集上实现了最先进性能，尽管未使用种子词或除类别名称外的任何标注样本，仍优于基于种子词的弱监督方法。

ABSTRACT

In this paper, we explore text classification with extremely weak supervision, i.e., only relying on the surface text of class names. This is a more challenging setting than the seed-driven weak supervision, which allows a few seed words per class. We opt to attack this problem from a representation learning perspective -- ideal document representations should lead to nearly the same results between clustering and the desired classification. In particular, one can classify the same corpus differently (e.g., based on topics and locations), so document representations should be adaptive to the given class names. We propose a novel framework X-Class to realize the adaptive representations. Specifically, we first estimate class representations by incrementally adding the most similar word to each class until inconsistency arises. Following a tailored mixture of class attention mechanisms, we obtain the document representation via a weighted average of contextualized word representations. With the prior of each document assigned to its nearest class, we then cluster and align the documents to classes. Finally, we pick the most confident documents from each cluster to train a text classifier. Extensive experiments demonstrate that X-Class can rival and even outperform seed-driven weakly supervised methods on 7 benchmark datasets. Our dataset and code are released at https://github.com/ZihanWangKi/XClass/ .

研究动机与目标

• 解决仅提供类别名称作为监督信号、无任何种子词或标注文档的极弱监督下的文本分类问题。
• 开发一种表示学习框架，使文档嵌入能够自适应用户指定的类别名称，从而实现聚类与期望分类目标的对齐。
• 证明可通过聚类自动生成高质量的伪训练数据，从而在极少人工标注的情况下实现优异性能。
• 在多种数据类型和类别类别（主题、地点、情感等）上建立极弱监督文本分类的基准。

提出的方法

• 通过迭代地为每个类别添加最相似的词语，直到出现不一致为止，估计类别表示，形成面向类别的表示。
• 使用定制的类别注意力混合机制，将上下文化的词表示从 BERT 加权平均，计算文档表示。
• 基于初始表示中文档与最近类别的匹配关系，使用先验分配初始化聚类（如高斯混合模型）。
• 将文档聚类为 K 个簇（K = 类别数量），通过初始先验保持簇与类别的对齐。
• 从每个簇中选择最置信的文档，构成用于微调监督分类器（如 BERT）的伪标签训练集。
• 在伪标签数据上训练最终的文本分类器，利用预训练语言模型实现强大的泛化能力。

实验结果

研究问题

• RQ1 是否可以仅使用类别名称作为监督信号，无需任何种子词或标注样本，有效完成文本分类？
• RQ2 如何使文档表示自适应用户指定的类别名称，以提升聚类与期望分类目标的对齐？
• RQ3 基于聚类的伪标签方法能否生成高质量的训练数据，从而在零样本或少样本设置下实现优异性能？
• RQ4 当未提供人工种子时，所提出方法的性能与基于种子词的弱监督方法相比如何？

主要发现

• X-Class 在 7 个基准数据集（包括 WeSTClass 和 ConWea）上优于基于种子词的弱监督方法，尽管未使用任何种子词。
• 在 NYT-Small 数据集上，X-Class-Hier 实现了 92.66 的微F1 和 80.92 的宏F1，用于细粒度分类，优于 X-Class-End 和其他基线方法。
• 当类别名称在语料中仅出现一次时，X-Class 仍表现出鲁棒性，而其他依赖类别名称频繁出现或上下文多样的方法则表现不佳。
• 该方法在多种数据类型（如新闻和评论）以及多种类别类型（如主题、地点、情感）上均表现出色。
• X-Class 在多个数据集上表现出一致且稳定的性能，表明其在极弱监督设置下的泛化能力。
• 该框架在层次分类设置中同样有效，即使细粒度类别之间的相似性差异显著。