[论文解读] Rectifying Classifier Chains for Multi-Label Classification

Robin Senge, Juan José del Coz+1 more|arXiv (Cornell University)|Jun 7, 2019

Text and Document Classification Technologies参考文献 25被引用 6

一句话总结

本文将分类器链（CC）中的误差传播识别为一个关键缺陷，原因在于推理过程中标签估计存在噪声，为此提出嵌套堆叠（NS）方法，通过在训练期间使用预测标签值而非真实标签作为特征来缓解该问题。实验表明，NS在标签复杂度高或单个标签准确率低的数据集上显著提升性能，尤其在汉明损失（Hamming loss）和子集0/1损失方面表现突出，且子集校正进一步提升了所有指标的表现。

ABSTRACT

Classifier chains have recently been proposed as an appealing method for tackling the multi-label classification task. In addition to several empirical studies showing its state-of-the-art performance, especially when being used in its ensemble variant, there are also some first results on theoretical properties of classifier chains. Continuing along this line, we analyze the influence of a potential pitfall of the learning process, namely the discrepancy between the feature spaces used in training and testing: While true class labels are used as supplementary attributes for training the binary models along the chain, the same models need to rely on estimations of these labels at prediction time. We elucidate under which circumstances the attribute noise thus created can affect the overall prediction performance. As a result of our findings, we propose two modifications of classifier chains that are meant to overcome this problem. Experimentally, we show that our variants are indeed able to produce better results in cases where the original chaining process is likely to fail.

研究动机与目标

• 研究在推理过程中用预测标签替代真实标签所导致的属性噪声对分类器链的影响。
• 识别原始CC方法中误差传播导致性能下降的条件。
• 提出一种改进的训练过程，通过在训练期间使用预测标签值作为特征，减少误差传播。
• 评估所提方法的有效性，特别是在CC已知表现不佳的数据集上。
• 探索子集校正作为多标签分类模型通用增强技术的潜在优势。

提出的方法

• 提出一种称为嵌套堆叠（NS）的分类器链变体，其中在训练期间使用预测标签值（而非真实标签）作为附加特征。
• 按链式顺序训练二元分类器，但将前序分类器的估计相关性得分作为后续分类器的输入特征，以模拟实际预测场景。
• 引入子集校正机制，调整预测结果使其更贴近真实标签集合，从而提升一致性并减少误差传播。
• 在单模型和集成设置下应用NS，与标准CC及其校正变体进行性能比较。
• 采用两阶段训练流程：首先在真实标签上训练基础分类器，然后使用预测值重新训练，以模拟推理条件。
• 使用标准指标评估性能：在多个基准数据集上评估汉明损失、子集0/1损失、Jaccard指数和F1分数。

实验结果

研究问题

• RQ1 在何种条件下，分类器链中的误差传播会显著降低多标签分类性能？
• RQ2 在训练期间使用预测标签值而非真实标签作为特征，对分类器链的泛化能力和鲁棒性有何影响？
• RQ3 与原始分类器链相比，所提出的嵌套堆叠方法在多大程度上减少了误差传播？
• RQ4 子集校正在不同多标签分类指标上的性能提升效果如何？
• RQ5 嵌套堆叠的优势是否随数据集特征（如标签基数或单个标签准确率）而变化？

主要发现

• 在汉明损失方面，嵌套堆叠（NS）相较于标准CC取得8次显著胜出，仅3次落后，表明其在复杂数据集上具有强大且一致的性能提升。
• NS在标签数量多（如bibtex、enron、mediamill）和汉明损失高（如yeast）的数据集上优于CC，这些场景中误差传播最具破坏性。
• 子集校正显著提升了所有指标的性能，其中在子集0/1损失上提升最大，在汉明损失上提升最小。
• NS的校正版本（NS_SC）在子集0/1损失上相比校正后的CC（CC_SC）取得3次显著胜出，证明了校正在具有挑战性场景下依然有效。
• 在标签数量少（如reuters、scene、image）且单个标签准确率高的数据集上，NS表现劣于CC，证实此类情况下误差传播问题较不显著。
• 子集校正在几乎所有数据集和指标上均提升了性能，且多数改进具有统计显著性，凸显其通用性和鲁棒性。