[论文解读] Recent Advances in Hierarchical Multi-label Text Classification: A Survey

Rundong Liu, Wenhan Liang+6 more|arXiv (Cornell University)|Jul 30, 2023

Text and Document Classification Technologies被引用 4

一句话总结

本综述系统回顾了层次化多标签文本分类（HMLTC）领域的最新进展，涵盖数据集、模型、学习策略、评估指标及挑战。其突出成果为基于深度学习的方法——尤其是图神经网络与集成方法——已成为当前最先进水平，同时指出了标签不平衡、数据稀疏性及深层预测错误等关键挑战，并提出未来研究方向包括指令微调与持续学习，以应对动态演化的标签层次结构。

ABSTRACT

Hierarchical multi-label text classification aims to classify the input text into multiple labels, among which the labels are structured and hierarchical. It is a vital task in many real world applications, e.g. scientific literature archiving. In this paper, we survey the recent progress of hierarchical multi-label text classification, including the open sourced data sets, the main methods, evaluation metrics, learning strategies and the current challenges. A few future research directions are also listed for community to further improve this field.

研究动机与目标

• 系统性回顾层次化多标签文本分类（HMLTC）的最新进展，该任务在组织科学文献、产品评论和新闻等自然语言处理应用中具有重要意义。
• 分析HMLTC研究中使用的现有数据集、模型架构、学习策略与评估指标。
• 识别关键挑战，如标签不平衡、数据稀疏性以及深层层次中的错误传播。
• 提出未来研究方向，包括指令学习、领域知识注入以及面向动态演化标签层次的增量学习。
• 为希望在实际应用中提升HMLTC系统性能的研究人员提供全面参考。

提出的方法

• 将HMLTC方法划分为四类主要方法：基于树的方法、基于嵌入的方法、基于图的方法以及集成方法。
• 回顾使用深度学习编码器与二元交叉熵损失进行端到端训练的应用，特别是BERT与基于Transformer的模型。
• 分析图神经网络（GNNs），其在统一图结构中联合建模文本与标签层次结构。
• 分析集成策略，通过结合多个层次分类器与全局预测器以提升性能。
• 讨论处理标签不平衡的技术，如自适应采样（ARS2）、强化学习（HiLAP）与元学习（Meta-LMTC）。
• 探索零样本与少样本学习方法，包括标签层次感知模型与对比表示学习。

实验结果

研究问题

• RQ1 在性能与可扩展性方面，基于树、基于嵌入、基于图及集成方法在层次化多标签文本分类中的表现如何比较？
• RQ2 在HMLTC中，针对低频或罕见标签，最有效的缓解标签不平衡与数据稀疏性的策略是什么？
• RQ3 预训练语言模型与指令微调在提升HMLTC中零样本与少样本泛化能力方面能发挥多大作用？
• RQ4 从浅层到深层的错误传播在多大程度上影响分类准确率？有哪些方法可减轻该影响？
• RQ5 在真实系统中，实现持续与增量学习以应对动态演化的标签层次结构面临哪些关键挑战？

主要发现

• 基于图神经网络的方法已成为主流，能够在一个统一框架中有效建模文本与层次化标签结构。
• 结合层次分类器与全局分类器的集成方法实现了最先进性能，但其在学术界的正式验证仍较有限。
• 标签不平衡会显著降低模型对低频标签的性能，而ARS2与Meta-LMTC等方法通过自适应采样与元学习展现出更强的鲁棒性。
• 由于标签数据稀疏与标签-文本关系复杂，零样本与少样本学习仍具挑战，但近期的对比学习与层次感知模型显示出潜力。
• 深层标签因数据稀疏性与错误传播而准确率较低，凸显了对更优层次特征学习方法的需求。
• 近期的大语言模型（如GPT-4）展现出强大的零样本能力，但其在HMLTC场景下的可靠性与对齐性仍是开放的研究问题。