[论文解读] Prototypical Networks for Multi-Label Learning

Zhuo Yang, Yufei Han+3 more|arXiv (Cornell University)|Nov 17, 2019

Text and Document Classification Technologies参考文献 32被引用 4

一句话总结

本文提出原型网络多标签学习（PNML），一种新颖方法，通过在共享的非线性嵌入空间中估计类别分布来建模多标签分类，其中每个标签的正样本和负样本形成紧凑且分离的组件。该方法利用学习到的原型和基于Bregman散度的距离度量来捕捉非线性标签依赖关系，在15个基准数据集上均取得最先进性能，且PNML-single与PNML-multiple两种变体在73%的评估场景中均优于所有基线方法。

ABSTRACT

We propose to formulate multi-label learning as a estimation of class distribution in a non-linear embedding space, where for each label, its positive data embeddings and negative data embeddings distribute compactly to form a positive component and negative component respectively, while the positive component and negative component are pushed away from each other. Duo to the shared embedding space for all labels, the distribution of embeddings preserves instances' label membership and feature matrix, thus encodes the feature-label relation and nonlinear label dependency. Labels of a given instance are inferred in the embedding space by measuring the probabilities of its belongingness to the positive or negative components of each label. Specially, the probabilities are modeled as the distance from the given instance to representative positive or negative prototypes. Extensive experiments validate that the proposed solution can provide distinctively more accurate multi-label classification than other state-of-the-art algorithms.

研究动机与目标

• 为解决多标签学习中复杂非线性标签依赖关系建模的挑战。
• 通过共享嵌入空间联合编码特征-标签关系与标签相关性。
• 通过在非线性空间中估计每个标签正负样本的分布来提升分类准确率。
• 开发一种灵活的框架，支持每个标签使用单个或多个原型，以在准确率与效率之间实现权衡。

提出的方法

• 该方法使用共享特征编码器将所有训练实例映射到共享的非线性嵌入空间，同时保留标签隶属关系与特征结构。
• 对于每个标签，正负样本嵌入被建模为混合成分，其中原型代表嵌入空间中的聚类中心。
• PNML-multiple通过自适应聚类学习每个标签的多个原型，而PNML-single为每个成分使用单个原型（即正/负样本嵌入的均值）。
• 联合学习标签特定的Bregman散度距离度量，以衡量实例到正负原型的接近程度，从而实现灵活的分布建模。
• 在目标函数中引入标签相关性正则化项，通过利用标签间的依赖关系进一步优化原型。
• 通过基于到原型距离推导出的预测概率，使用交叉熵损失进行端到端训练。

实验结果

研究问题

• RQ1 在共享的非线性嵌入空间中建模标签分布是否能超越线性或独立标签建模方式，从而提升多标签分类性能？
• RQ2 使用学习到的原型和Bregman散度度量在捕捉非线性标签依赖关系方面有多有效？
• RQ3 联合优化嵌入函数与标签特定距离度量是否能带来比独立标签学习更好的泛化性能？
• RQ4 与单个原型相比，每个标签使用多个原型在分布建模方面能提升多少？
• RQ5 该方法在具有不同标签复杂度和稀疏性的多样化真实世界数据集上的表现如何？

主要发现

• PNML-single与PNML-multiple在75次评估中的55次（即73%）中均优于全部13个基线方法，且通过符号检验确认其显著优越性。
• PNML-multiple在大多数情况下表现优于PNML-single，表明多个原型能更好地捕捉复杂的分布模式。
• PNML-single在Macro-F1指标上表现更优，表明其对罕见或低频标签的处理能力优于基线方法。
• 消融实验表明，共享嵌入函数和学习到的距离度量至关重要，因为PNML-I（独立标签）和PNML-D（欧氏距离）性能显著更差。
• 性能在不同采样率下保持稳定，同时运行时间随采样率降低而减少，表明在损失极小准确率的前提下具备计算效率。
• 标签相关性正则化项有助于提升原型质量，从而增强整体分类性能。