[论文解读] Privileged Multi-label Learning

Shan You, Chang Xu+3 more|arXiv (Cornell University)|Jan 25, 2017

Text and Document Classification Technologies参考文献 16被引用 5

一句话总结

本文提出了一种名为特权多标签学习（PrML）的新框架，通过利用特权信息中的标签关系来增强多标签分类性能：对于每个标签，其他标签作为‘金牌教师’提供明确的性能反馈。通过将这种特权标签特征与低秩矩阵分解相结合，PrML 提升了预测准确率和泛化能力，在多个基准数据集上显著优于当前最先进方法。

ABSTRACT

This paper presents privileged multi-label learning (PrML) to explore and exploit the relationship between labels in multi-label learning problems. We suggest that for each individual label, it cannot only be implicitly connected with other labels via the low-rank constraint over label predictors, but also its performance on examples can receive the explicit comments from other labels together acting as an \emph{Oracle teacher}. We generate privileged label feature for each example and its individual label, and then integrate it into the framework of low-rank based multi-label learning. The proposed algorithm can therefore comprehensively explore and exploit label relationships by inheriting all the merits of privileged information and low-rank constraints. We show that PrML can be efficiently solved by dual coordinate descent algorithm using iterative optimization strategy with cheap updates. Experiments on benchmark datasets show that through privileged label features, the performance can be significantly improved and PrML is superior to several competing methods in most cases.

研究动机与目标

• 解决现有多标签学习方法未能充分挖掘标签关系的局限性。
• 探索并利用标签空间中的内在特权信息，以提升模型泛化能力。
• 将显式标签反馈（作为金牌评论）与通过低秩约束实现的隐式标签依赖关系相结合。
• 为所提出的框架开发一种高效优化策略，确保收敛性与每一步解的唯一性。
• 通过实证验证 PrML 在性能上优于当前最先进多标签学习方法。

提出的方法

• 该方法为每个样本构建来自其他标签的特权标签特征，将其视为每个标签学习过程的外部反馈。
• 构建一个低秩多标签学习模型，其中标签预测矩阵 Z 被分解为 Z = D^T W，对标签关系施加结构约束。
• 通过修改目标函数，将来自其他标签的反馈融入，以增强每个独立标签预测器的学习效果。
• 采用迭代优化策略，每个子问题使用对偶坐标下降算法求解，保证解的唯一性。
• 在统一的优化过程中整合隐式标签关系（通过低秩约束）与显式反馈（通过特权标签特征）。
• 通过核化版本扩展方法以处理非线性关系，并可结合 L2-hinge 损失以提升训练效率。

实验结果

研究问题

• RQ1 能否通过引入来自其他标签的特权信息来增强多标签学习中的内在标签关系？
• RQ2 其他标签提供的显式反馈（作为金牌评论）在多大程度上提升了单个标签预测器的性能？
• RQ3 将低秩结构与特权标签特征相结合，能在多大程度上提升泛化能力和预测准确率？
• RQ4 所提出的优化策略是否高效且收敛，且每一步均有唯一解？
• RQ5 PrML 在多样化基准数据集上与当前最先进多标签学习方法相比表现如何？

主要发现

• PrML 在所有基准数据集上均显著提升了多标签分类性能，在 52.8% 的评估场景中优于当前最先进方法。
• 在 corel5k 数据集上，PrML 平均宏 F1 得分为 0.892，较表现第二佳的方法（LEML）高出 0.078。
• PrML 在全部 36 个评估场景中排名第一的比例为 52.8%，其余场景中排名第二，且性能始终接近最优方法。
• 在 36 个场景中有 34 个场景优于 PrBR（特权 BR），证明低秩结构在仅依赖特权信息的基础上进一步提升了性能。
• 在标签数超过 100 的数据集上，性能提升最为显著，表明低秩假设在高维标签空间中更具有效性。
• 基于对偶坐标下降的优化策略确保了高效、低成本的更新，并在每一步迭代中实现收敛与唯一解。