[论文解读] SVM and ELM: Who Wins? Object Recognition with Deep Convolutional Features from ImageNet

Lei Zhang, David Zhang|arXiv (Cornell University)|Jun 8, 2015

Domain Adaptation and Few-Shot Learning参考文献 24被引用 9

一句话总结

本文评估了支持向量机（SVMs）与极限学习机（ELMs）在使用预训练 ImageNet CNN 提取的深度卷积特征进行目标识别时的表现。在跨域数据集上的实验表明，核函数 ELMs 的平均准确率比 SVMs 高出约 4%，确立了 ELMs 在迁移学习场景中作为深度特征更有效分类器的地位。

ABSTRACT

Deep learning with a convolutional neural network (CNN) has been proved to be very effective in feature extraction and representation of images. For image classification problems, this work aim at finding which classifier is more competitive based on high-level deep features of images. In this report, we have discussed the nearest neighbor, support vector machines and extreme learning machines for image classification under deep convolutional activation feature representation. Specifically, we adopt the benchmark object recognition dataset from multiple sources with domain bias for evaluating different classifiers. The deep features of the object dataset are obtained by a well-trained CNN with five convolutional layers and three fully-connected layers on the challenging ImageNet. Experiments demonstrate that the ELMs outperform SVMs in cross-domain recognition tasks. In particular, state-of-the-art results are obtained by kernel ELM which outperforms SVMs with about 4% of the average accuracy. The features and codes are available in http://www.escience.cn/people/lei/index.html

研究动机与目标

• 比较使用深度卷积特征时 SVMs 与 ELMs 在目标识别中的性能。
• 使用具有领域偏置的基准数据集，评估分类器在领域漂移下的有效性。
• 确定 ELMs 在应用于预训练 CNN 的高层特征时，是否能超越传统的 SVMs。
• 提供开源的深度特征与代码，以实现可复现性及进一步研究。

提出的方法

• 从在 ImageNet 上预训练的五层卷积、三层全连接的 CNN 中提取深度卷积特征。
• 将最后一层全连接层的激活值作为图像的高层表征用于分类。
• 在多个具有领域偏置的数据集上，对这些深度特征训练并评估 SVM 与 ELM 分类器。
• 使用径向基函数（RBF）核函数实现核函数 ELM，以增强非线性决策边界。
• 应用交叉验证与标准评估协议，以确保分类器之间的公平比较。
• 在所有实验中使用相同的特征表示与训练协议，以隔离分类器性能的差异。

实验结果

研究问题

• RQ1 当使用预训练 CNN 提取的深度特征进行图像分类时，ELM 是否优于 SVM？
• RQ2 在存在领域偏置的情况下，SVMs 与 ELMs 在跨域泛化下的表现如何？
• RQ3 与 SVM 相比，核函数 ELM 在 ImageNet 的深度特征上能否达到最先进性能？
• RQ4 在使用 ImageNet 特征的迁移学习场景中，ELM 相对于 SVM 的相对准确率增益是多少？

主要发现

• 在跨域目标识别任务中，核函数 ELMs 的平均准确率比 SVMs 高出约 4%。
• 在存在领域偏置的数据集上测试时，ELMs 展现出优于 SVMs 的泛化性能。
• 所提出的方法在使用预训练 ImageNet CNN 的深度特征时，达到了最先进水平的结果。
• ELM 方法在训练阶段的计算效率高于 SVMs，尤其在大规模数据集上表现更优。
• ELMs 的性能增益在多个具有不同领域偏移的基准数据集上保持一致。
• 作者发布了深度特征与代码，支持可复现性及进一步基准测试。