[论文解读] Simple and Efficient Learning using Privileged Information

Xinxing Xu, Joey Tianyi Zhou+4 more|arXiv (Cornell University)|Apr 6, 2016

Domain Adaptation and Few-Shot Learning参考文献 15被引用 10

一句话总结

该论文提出SVM2+，一种基于特权信息（SVM+）的新型支持向量机公式，将合页损失替换为平方合页损失，从而得到仅含n个变量的对偶优化问题——与标准SVM形式一致。这使得可直接使用高效现成的SVM求解器，实现在Caltech101上高达110.6倍、在WebQueries上高达92.5倍的速度提升，且精度相当，显著提高了训练效率而未牺牲性能。

ABSTRACT

The Support Vector Machine using Privileged Information (SVM+) has been proposed to train a classifier to utilize the additional privileged information that is only available in the training phase but not available in the test phase. In this work, we propose an efficient solution for SVM+ by simply utilizing the squared hinge loss instead of the hinge loss as in the existing SVM+ formulation, which interestingly leads to a dual form with less variables and in the same form with the dual of the standard SVM. The proposed algorithm is utilized to leverage the additional web knowledge that is only available during training for the image categorization tasks. The extensive experimental results on both Caltech101 andWebQueries datasets show that our proposed method can achieve a factor of up to hundred times speedup with the comparable accuracy when compared with the existing SVM+ method.

研究动机与目标

• 为解决SVM+因对偶问题含2n个变量及非标准约束而导致的高计算成本问题。
• 通过重构目标函数，在不牺牲分类精度的前提下提升SVM+的训练效率。
• 通过使其对偶形式与标准SVM一致，实现对标准、现成SVM求解器（如LibSVM）的直接使用。
• 在真实世界图像分类任务中，通过使用来自网络的特权信息（如维基百科描述和用户标签）对所提方法进行实证验证。

提出的方法

• 将传统SVM1+中的合页损失替换为平方合页损失，推导出新的目标函数，称为SVM2+。
• 将SVM2+的对偶问题表述为仅含n个变量的二次规划（QP）问题，使其变量数量与标准SVM一致。
• 利用SVM2+与标准SVM具有相同对偶结构的特性，直接使用现有高度优化的QP求解器（如LibSVM和Mosek）。
• 将特权信息（如维基百科文本描述或网页标签）表示为TF-IDF或TF特征向量，并与训练样本关联。
• 使用线性核在主特征（如图像特征）和特权特征（如文本描述）上训练一对多分类器，通过最大输出预测测试标签。
• 使用标准交叉验证选择最优超参数，并报告在Caltech101和WebQueries数据集上的准确率与训练时间。

实验结果

研究问题

• RQ1 在SVM+中用平方合页损失替代合页损失，是否能获得变量更少且与标准SVM求解器兼容的对偶公式？
• RQ2 所提出的SVM2+是否在显著降低训练时间的同时，实现与原始SVM1+相当或更优的分类精度？
• RQ3 通过重构对偶问题，能否有效重用现成的SVM求解器来训练SVM+？
• RQ4 使用网络衍生的特权信息（如维基百科文本、用户标签）在提升图像分类性能方面有多有效？
• RQ5 与SVM1+相比，SVM2+在真实世界图像数据集上可实现多大的训练速度提升？

主要发现

• 与原始SVM1+公式相比，SVM2+在Caltech101数据集上实现了最高达110.6倍的速度提升，在WebQueries数据集上实现了92.5倍的速度提升。
• SVM2+的分类准确率（Caltech101为86.20%，WebQueries为54.43%）略高于SVM1+（分别为85.79%和54.30%），表明性能有所提升。
• SVM2+的对偶问题仅含n个变量，与标准SVM一致，从而可直接使用高效现成的求解器（如LibSVM）。
• 所提方法在大幅降低训练时间的同时保持了高准确率，证明了其在利用特权信息方面的高效性与有效性。
• 将网络衍生的文本描述（通过维基百科和标签）作为特权信息，显著提升了图像分类性能，优于标准SVM。
• SVM2K（一种两视图学习变体）表现低于所有其他方法，表明所提出的单视图公式结合平方合页损失更适合LUPI任务。