[论文解读] Regularizing Model Complexity and Label Structure for Multi-Label Text Classification

Bingyu Wang, Cheng Li+2 more|arXiv (Cornell University)|May 1, 2017

Text and Document Classification Technologies参考文献 4被引用 3

一句话总结

该论文提出了一种两阶段多标签文本分类框架，结合训练阶段的模型正则化与预测阶段的标签搜索空间正则化。通过应用Elastic-net和早停法减少过拟合，并利用支持推理与F-优化器GFM提升F1性能，该方法在多个基准数据集上实现了最先进（SOTA）的性能表现，表明在实践中，标签结构正则化比复杂的标签依赖建模更具影响力。

ABSTRACT

Multi-label text classification is a popular machine learning task where each document is assigned with multiple relevant labels. This task is challenging due to high dimensional features and correlated labels. Multi-label text classifiers need to be carefully regularized to prevent the severe over-fitting in the high dimensional space, and also need to take into account label dependencies in order to make accurate predictions under uncertainty. We demonstrate significant and practical improvement by carefully regularizing the model complexity during training phase, and also regularizing the label search space during prediction phase. Specifically, we regularize the classifier training using Elastic-net (L1+L2) penalty for reducing model complexity/size, and employ early stopping to prevent overfitting. At prediction time, we apply support inference to restrict the search space to label sets encountered in the training set, and F-optimizer GFM to make optimal predictions for the F1 metric. We show that although support inference only provides density estimations on existing label combinations, when combined with GFM predictor, the algorithm can output unseen label combinations. Taken collectively, our experiments show state of the art results on many benchmark datasets. Beyond performance and practical contributions, we make some interesting observations. Contrary to the prior belief, which deems support inference as purely an approximate inference procedure, we show that support inference acts as a strong regularizer on the label prediction structure. It allows the classifier to take into account label dependencies during prediction even if the classifiers had not modeled any label dependencies during training.

研究动机与目标

• 解决多标签文本分类中高维稀疏文本特征与标签相关性带来的挑战。
• 提升多标签预测中的F1得分优化，尤其在标签不平衡及近似正确预测可获部分得分的情况下。
• 在不依赖复杂标签依赖建模的前提下，降低高容量分类器的模型复杂度与过拟合风险。
• 探究支持推理是否在作为近似推理方法之外，仍能发挥强正则化作用。
• 证明结合训练阶段正则化与预测阶段标签空间正则化可获得更优性能。

提出的方法

• 在训练阶段应用Elastic-net（L1 + L2）正则化，以降低模型复杂度，并防止在高维特征空间中过拟合。
• 采用早停法作为隐式正则化手段，在模型开始过拟合前停止训练。
• 在预测阶段使用支持推理，将标签搜索空间限制在训练集中观察到的标签组合范围内，从而有效正则化预测结构。
• 集成F-优化器GFM（贪婪F1度量）预测器，以计算能最大化F1指标的最优标签集合。
• 将支持推理与GFM结合，实现在保持F1最优性的同时预测未见的标签组合。
• 利用分类器的联合概率估计对GFM采样标签集合，即使模型未显式建模标签依赖关系，也能确保F1最优性。

实验结果

研究问题

• RQ1 当分类器在训练过程中未建模标签依赖关系时，支持推理是否仍能作为标签预测结构的强正则化器？
• RQ2 将训练阶段正则化（如Elastic-net、早停法）与预测阶段正则化（支持推理 + GFM）相结合，是否能超越仅依赖复杂标签依赖结构的模型？
• RQ3 在与支持推理结合使用时，GFM预测器的性能如何，特别是在Binary Relevance（BR）和Probabilistic Classifier Chains（PCC）等模型中？
• RQ4 SOTA模型如CRF或CBM的性能在多大程度上依赖于标签对交互作用，而非支持推理？
• RQ5 所提出的框架是否能在包括医学、新闻与专利文本集合在内的多样化多标签数据集上实现泛化？

主要发现

• 支持推理作为标签预测结构的强大正则化器，即使在分类器训练时未显式建模标签依赖关系，也能在预测阶段有效建模标签依赖。
• 支持推理与GFM的结合在所有测试分类器（BR、PCC、CBM、CRF）与数据集上均持续提升F1性能，优于仅依赖内部标签依赖结构的方法。
• 从CRF中移除标签对交互项后性能下降极小，表明支持推理对CRF成功有显著贡献，而不仅依赖成对项。
• 该方法在OHSUMED（49.5）、WIPO（74.3）、ENRON（62.5）和MEDICAL（82.6）等基准数据集上实现了最先进（SOTA）的F1得分，CBM在MEDICAL上达到82.6的F1得分。
• 通过Elastic-net与早停法显著降低了模型规模，使高容量模型如CBM与CRF在面对高维特征时更具实用性。
• 即使未进行微调，SPEN神经网络模型的性能仍低于所提出框架，表明在缺乏适当正则化时，高容量模型存在严重的过拟合问题。