[论文解读] Neural Message Passing for Multi-Label Classification

Jack Lanchantin, Arshdeep Sekhon+1 more|arXiv (Cornell University)|Apr 17, 2019

Text and Document Classification Technologies参考文献 48被引用 5

一句话总结

本文提出标签消息传递（LaMP）神经网络，这是一种新颖的基于注意力的消息传递框架，通过将标签视为全连接图中的节点，对多标签分类中的联合标签依赖关系进行建模。通过使用自注意力机制在特征到标签和标签到标签之间迭代更新标签表征，LaMP在七个数据集上实现了最先进性能，同时实现了可解释性、可并行化且与结构无关的密集标签集预测。

ABSTRACT

Multi-label classification (MLC) is the task of assigning a set of target labels for a given sample. Modeling the combinatorial label interactions in MLC has been a long-haul challenge. We propose Label Message Passing (LaMP) Neural Networks to efficiently model the joint prediction of multiple labels. LaMP treats labels as nodes on a label-interaction graph and computes the hidden representation of each label node conditioned on the input using attention-based neural message passing. Attention enables LaMP to assign different importance to neighbor nodes per label, learning how labels interact (implicitly). The proposed models are simple, accurate, interpretable, structure-agnostic, and applicable for predicting dense labels since LaMP is incredibly parallelizable. We validate the benefits of LaMP on seven real-world MLC datasets, covering a broad spectrum of input/output types and outperforming the state-of-the-art results. Notably, LaMP enables intuitive interpretation of how classifying each label depends on the elements of a sample and at the same time rely on its interaction with other labels. We provide our code and datasets at https://github.com/QData/LaMP

研究动机与目标

• 为解决多标签分类（MLC）中建模组合标签相互作用的挑战，该挑战为 NP-难问题，且常被现有方法忽略。
• 开发一种方法，基于输入特征联合建模标签依赖关系，以实现对密集标签集的准确且可扩展的预测。
• 构建一种模型，具备可解释性、可并行化，并可应用于各种输入和输出数据结构，而无需预定义标签相互作用结构。
• 克服基于 RNN 的分类链等序列模型的局限性，这些模型在密集标签场景下存在误差传播和可扩展性差的问题。
• 通过注意力机制直观可视化标签到特征和标签到标签的依赖关系，以增强模型可解释性。

提出的方法

• LaMP 将标签视为全连接标签交互图中的节点，并使用神经消息传递机制，基于输入特征和邻近标签来更新每个标签的隐藏表征。
• 该模型采用多头自注意力机制，在消息传递过程中动态分配邻近标签的重要性，从而学习基于输入的条件化标签依赖关系。
• 特征到标签的消息传递通过关注输入特征来更新标签表征，而标签到标签的消息传递则通过关注其他标签状态来优化表征。
• 最终预测通过在多次消息传递步骤后对最终标签嵌入状态应用读出函数生成。
• 该方法支持无结构学习（全连接图）和有结构学习（当提供已知标签图时），其中注意力被限制在已知邻居范围内。
• 该架构完全可微分且端到端可训练，支持并行训练和推理，与基于 RNN 的分类链等序列模型不同。

实验结果

研究问题

• RQ1 基于注意力的神经消息传递能否有效扩展至建模多标签分类中输出标签的联合表征？
• RQ2 此类方法是否能在保持对密集标签集可解释性和可扩展性的同时，实现最先进性能？
• RQ3 标签到标签和标签到特征的注意力机制在提升预测准确率和模型可解释性方面有何贡献？
• RQ4 LaMP 在准确率和推理速度方面相较于 RNN Seq2Seq 等序列模型的优越程度如何？
• RQ5 该模型能否在无需预先知晓标签图的情况下，自动从数据中学习条件化标签依赖结构？

主要发现

• LaMP 在七个真实世界多标签分类数据集（包括文本、图像、表格和分子数据）上，于五项评估指标中达到最先进或具有竞争力的性能。
• 在 SIDER 数据集上，LaMP 的测试阶段相比依赖束搜索进行推理的 RNN Seq2Seq 实现了 21 倍的加速。
• 在 TFBS 数据集上，LaMP 的测试阶段实现了 4.2 倍的加速，凸显其可扩展性和可并行性。
• 可视化结果显示，'web design'、'design' 和 'html' 等标签在标签到标签消息传递后预测置信度显著提升，表明已学习到依赖关系。
• 注意力权重显示，在初始特征到标签更新阶段，'web design' 标签关注了 'pick'、'smart' 和 'version' 等特征，解释了早期预测模式。
• 在后续消息传递步骤中，模型成功捕捉到高阶标签相互作用，第二步中的注意力模式反映了复杂的标签依赖关系。