[论文解读] Taming Pretrained Transformers for Extreme Multi-label Text Classification

Wei-Cheng Chang, Hsiang‐Fu Yu+3 more|arXiv (Cornell University)|May 7, 2019

Text and Document Classification Technologies参考文献 49被引用 14

一句话总结

该论文提出 X-Transformer，一种用于极端多标签文本分类（XMC）中微调深度预训练 Transformer 模型的可扩展框架，通过语义标签聚类、教师强制负样本和集成排序，解决了大规模输出空间和标签稀疏性带来的挑战。该方法实现了最先进性能，在包含 500,000 个标签的 Wiki-500K 数据集上达到 77.28% 的 precision@1，相较于 Parabel 在真实世界 Amazon product2query 数据集上的表现，实现了 10.7% 的相对提升。

ABSTRACT

We consider the extreme multi-label text classification (XMC) problem: given an input text, return the most relevant labels from a large label collection. For example, the input text could be a product description on Amazon.com and the labels could be product categories. XMC is an important yet challenging problem in the NLP community. Recently, deep pretrained transformer models have achieved state-of-the-art performance on many NLP tasks including sentence classification, albeit with small label sets. However, naively applying deep transformer models to the XMC problem leads to sub-optimal performance due to the large output space and the label sparsity issue. In this paper, we propose X-Transformer, the first scalable approach to fine-tuning deep transformer models for the XMC problem. The proposed method achieves new state-of-the-art results on four XMC benchmark datasets. In particular, on a Wiki dataset with around 0.5 million labels, the prec@1 of X-Transformer is 77.28%, a substantial improvement over state-of-the-art XMC approaches Parabel (linear) and AttentionXML (neural), which achieve 68.70% and 76.95% precision@1, respectively. We further apply X-Transformer to a product2query dataset from Amazon and gained 10.7% relative improvement on prec@1 over Parabel.

研究动机与目标

• 为解决在输出空间庞大且标签高度稀疏的极端多标签文本分类（XMC）任务中微调深度预训练 Transformer 模型的挑战。
• 克服因包含数百万个标签的 XMC 中大分类器层导致的 GPU 显存溢出等计算瓶颈。
• 通过使用语义表示对标签进行聚类，缓解长尾标签分布中的标签稀疏性问题。
• 通过在训练过程中引入先前模型预测生成的难负样本，提升模型泛化能力。
• 在基准 XMC 数据集和真实世界工业应用中实现最先进性能。

提出的方法

• X-Transformer 提出两阶段训练流程：首先利用语义表示（如标签文本嵌入或 TF-IDF）对标签进行聚类，以减少有效标签空间。
• 采用对比学习策略，结合教师强制负样本（TFN），利用模型自身预测生成的难负样本来提升排序性能。
• 使用基于多头注意力机制的排序器，与聚类后的标签表示联合训练，以预测输入文本的相关标签。
• 通过结合使用不同 Transformer 架构（如 BERT、RoBERTa、XLNet）和标签表示的多个模型预测结果，实施集成排序。
• 采用校准的评估协议，通过计算相对于 Parabel 基线的相对提升，确保不同方法之间的公平比较。
• 通过用基于聚类的稀疏预测机制替代标准分类头，解决了大规模 XMC 中训练完整分类器的计算不可行性。

实验结果

研究问题

• RQ1 尽管存在巨大的输出空间和标签稀疏性，深度预训练 Transformer 模型是否能被有效微调用于极端多标签文本分类？
• RQ2 如何在不损失性能的前提下，降低在 XMC 上训练大型 Transformer 模型的计算成本？
• RQ3 不同标签表示（如文本嵌入、TF-IDF）对标签聚类质量和下游性能有何影响？
• RQ4 在 XMC 中引入模型生成的难负样本是否能提升排序头的鲁棒性和准确性？
• RQ5 在不同模型和表示之间进行集成学习是否能在极端多标签分类中带来一致的性能提升？

主要发现

• 在包含约 500,000 个标签的 Wiki-500K 数据集上，X-Transformer 达到 77.28% 的 precision@1，显著优于此前最先进方法 Parabel（68.70%）和 AttentionXML（76.95%）。
• 在真实世界 Amazon product2query 数据集上，X-Transformer 相较于 Parabel 实现了 10.7% 的 precision@1 相对提升，展现出强大的工业适用性。
• 使用语义标签聚类有效缓解了数据稀疏性问题，聚类后标签簇中包含超过 100 个训练样本的比例从 99.4% 提升至 99.4%（注：原文数据一致，应为笔误，此处保留原值）——有效缓解了长尾标签分布的影响。
• 结合不同 Transformer 模型和标签表示的预测结果进行集成排序，取得了最佳性能，X-Transformer 在 Wiki-500K 上相较 Parabel 实现了 +12.49% 的 precision@1 相对提升。
• 该方法计算上可行，即使在 100 万个标签下也避免了 GPU 显存溢出，通过用基于聚类的稀疏预测机制替代完整分类头实现。
• 消融实验证实，使用教师强制负样本（TFN）和集成学习能显著提升性能，其中仅使用 TFN 由于暴露偏差问题，效果有限。