[论文解读] SGM: Sequence Generation Model for Multi-label Classification

Pengcheng Yang, Xu Sun+4 more|arXiv (Cornell University)|Jun 13, 2018

Text and Document Classification Technologies参考文献 20被引用 54

一句话总结

SGM 将多标签分类视为序列生成，使用带注意力的编码器-解码器和一种新型全局嵌入解码器来捕捉标签相关性与文本内容贡献，在 RCV1-V2 与 AAPD 数据集上实现了最先进的结果。

ABSTRACT

Multi-label classification is an important yet challenging task in natural language processing. It is more complex than single-label classification in that the labels tend to be correlated. Existing methods tend to ignore the correlations between labels. Besides, different parts of the text can contribute differently for predicting different labels, which is not considered by existing models. In this paper, we propose to view the multi-label classification task as a sequence generation problem, and apply a sequence generation model with a novel decoder structure to solve it. Extensive experimental results show that our proposed methods outperform previous work by a substantial margin. Further analysis of experimental results demonstrates that the proposed methods not only capture the correlations between labels, but also select the most informative words automatically when predicting different labels.

研究动机与目标

• 通过对任务建模为序列生成来解决多标签分类（MLC）中的标签相关性问题的动机。
• 提出一个基于 Seq2Seq 的模型，具备注意力机制和新颖的解码器，以捕捉标签依赖关系和内容贡献。
• 证明引入全局嵌入相较于标准 Seq2Seq 和基线的性能提升。
• 在大规模 MLC 文本数据集上展示有效性，并分析设计选择的影响（掩码、排序、全局嵌入）。

提出的方法

• 将 MLC 任务建模为预测一个标签序列，以通过一个带注意力的基于 LSTM 的解码器捕捉标签相关性。
• 用双向 LSTM 对输入文本进行编码，并在每个解码步骤通过注意力计算上下文向量。
• 使用带掩码的 softmax 预测下一个标签，以避免重复，条件化于先前的标签预测和上下文。
• 引入一个全局嵌入 g(y_{t-1})，它将最可能标签的嵌入与对所有标签嵌入的加权平均相结合，并通过变换门 H 调制。
• 使用束搜索进行推理，以探索高概率的标签序列。
• 采用交叉熵损失进行训练，并使用 dropout、Adam 优化，以及针对每个数据集调优的超参数。

实验结果

研究问题

• RQ1 如何通过序列化标签生成来捕捉多标签分类中的高阶标签相关性？
• RQ2 在文本上整合注意力机制是否有助于模型为不同标签分配不同的词贡献？
• RQ3 能够利用所有可能标签的全局嵌入是否提高对早期错误预测的鲁棒性？
• RQ4 提出的架构选择是否可扩展到大标签集和大数据集？
• RQ5 掩码和标签排序策略对性能有何影响？

主要发现

• SGM 在两个数据集上都优于传统基线（BR, CC, LP）和 CNN/CNN-RNN 模型。
• 使用全局嵌入（SGM+GE）进一步提升 micro-F1 并降低两数据集上的 HAMMING 损失。
• 在 RCV1-V2 上，SGM+GE 实现 F1+ 为 0.878 和 hamming loss 0.0075，超越基线；若无 GE，SGM 仍然优于基线。
• 在 AAPD 上，SGM+GE 获得 F1+ 为 0.710 和 hamming loss 0.0245，同样优于基线。
• 分析显示全局嵌入通过整合所有可能标签信号来丰富信息，帮助在暴露偏差下进行预测。
• 注意力可视化显示模型对每个标签关注的重点单词不同（如 CV 与 CL）。