[论文解读] Use All The Labels: A Hierarchical Multi-Label Contrastive Learning Framework

Shu Zhang, Ran Xu+2 more|arXiv (Cornell University)|Apr 27, 2022

Text and Document Classification Technologies被引用 11

一句话总结

本文提出了一种分层多标签对比学习框架 HiMulConE，该框架利用所有可用标签并在学习表示中保留类别层次结构。通过引入保持层次结构的损失函数——HiMulCon 和 HiConE，该方法在下游任务（如分类、检索和聚类）中表现更优，尤其在未见数据上优于监督和自监督基线方法，在 DeepFashion 和 ModelNet40 数据集上表现突出。

ABSTRACT

Current contrastive learning frameworks focus on leveraging a single supervisory signal to learn representations, which limits the efficacy on unseen data and downstream tasks. In this paper, we present a hierarchical multi-label representation learning framework that can leverage all available labels and preserve the hierarchical relationship between classes. We introduce novel hierarchy preserving losses, which jointly apply a hierarchical penalty to the contrastive loss, and enforce the hierarchy constraint. The loss function is data driven and automatically adapts to arbitrary multi-label structures. Experiments on several datasets show that our relationship-preserving embedding performs well on a variety of tasks and outperform the baseline supervised and self-supervised approaches. Code is available at https://github.com/salesforce/hierarchicalContrastiveLearning.

研究动机与目标

• 解决现有对比学习方法忽略多标签类别之间层次关系的局限性。
• 开发一种充分利用所有可用监督信号（包括层次标签结构）的表示学习框架。
• 通过在嵌入空间中编码标签之间的语义关系，提升对未见数据和下游任务的泛化能力。
• 构建一个统一框架，当不存在层次标签时可退化为标准的监督和自监督对比学习。

提出的方法

• 提出一种新颖的分层多标签对比损失（HiMulCon），基于层次结构中标签的逐层距离施加惩罚。
• 引入一种层次约束保持损失（HiConE），通过确保损失大小反映树结构中标签的接近程度，防止层次结构违规。
• 将 HiMulCon 和 HiConE 组合为混合损失函数 HiMulConE，联合优化标签空间邻近性和层次一致性。
• 使用树状标签表示来建模多标签依赖关系，其中每个节点代表一个类别，边表示父子关系。
• 在标准对比学习目标（最小化正样本对之间的距离，最大化负样本对之间的距离）基础上，融入层次监督。
• 使用组合损失训练编码器网络，生成保留层次语义的嵌入表示，随后直接用于下游任务而无需微调。

实验结果

研究问题

• RQ1 对比学习框架能否有效利用分层多标签结构以提升表示学习？
• RQ2 将标签层次结构融入损失函数对下游任务（如分类和检索）的性能有何影响？
• RQ3 与标准监督和自监督基线相比，所提方法在未见数据和下游任务上的泛化能力如何？
• RQ4 各个组件（HiMulCon 和 HiConE）对性能的贡献如何？两者的结合有何优势？

主要发现

• HiMulConE 在图像分类任务上优于基线监督和自监督对比学习方法，在 DeepFashion 和 ModelNet40 的未见数据划分上实现了更高的 top-1 准确率。
• 在 DeepFashion 数据集上，HiConE 表现优于 HiMulCon，尤其得益于层次级别间的语义重叠，未见划分的 top-1 准确率达到 66.9%。
• 在未见数据上的图像检索任务中，HiMulConE 在低 k 值下表现更优，表明其对相关图像的检索质量更高。
• 聚类结果表明 Product NMI（各类别平均 NMI）显著提升，证明该方法在子类别层级上保持了良好的层次可分性。
• 该模型对未见数据泛化能力出色：在已见数据上性能与 SupCon 相当，但在未见数据上显著更优，表明层次监督带来了更强的归纳偏置。
• 当无层次标签时，该框架可退化为标准的 SimCLR 和 SupCon，验证了其向后兼容性和通用性。