[论文解读] Transfer Learning for Illustration Classification

Manuel Lagunas, Elena Garcés|arXiv (Cornell University)|Jan 1, 2017

Advanced Image and Video Retrieval Techniques参考文献 1被引用 10

一句话总结

本文提出一种迁移学习方法，通过在新型精选插画图像数据集上微调预训练的VGG19网络，以提升插画图像分类性能。通过仅微调低层卷积层以适应艺术风格，同时保留高层特征，该方法在插画图像上的top-1准确率达到86.61%，并在自然图像上保持强劲性能，相较于基线VGG19在新领域上的top-1准确率提升超过60%。

ABSTRACT

The field of image classification has shown an outstanding success thanks to the development of deep learning techniques. Despite the great performance obtained, most of the work has focused on natural images ignoring other domains like artistic depictions. In this paper, we use transfer learning techniques to propose a new classification network with better performance in illustration images. Starting from the deep convolutional network VGG19, pre-trained with natural images, we propose two novel models which learn object representations in the new domain. Our optimized network will learn new low-level features of the images (colours, edges, textures) while keeping the knowledge of the objects and shapes that it already learned from the ImageNet dataset. Thus, requiring much less data for the training. We propose a novel dataset of illustration images labelled by content where our optimized architecture achieves $ extbf{86.61\%}$ of top-1 and $ extbf{97.21\%}$ of top-5 precision. We additionally demonstrate that our model is still able to recognize objects in photographs.

研究动机与目标

• 解决预训练深度网络（如VGG19）在非自然图像领域（如插画和卡通）表现不佳的问题。
• 开发一种迁移学习策略，使深度特征能够适应艺术表现形式，而无需从头开始训练。
• 创建一个全新的、经人工筛选的插画图像数据集，按内容进行标注，用于基准测试。
• 评估微调后的模型在自然图像上是否仍具备泛化能力。
• 研究低层特征适应对不同视觉抽象层级下分类性能的影响。

提出的方法

• 仅在精选的插画图像数据集上微调预训练VGG19网络的低层卷积层，以适应艺术风格的低层特征（如边缘、纹理、颜色）。
• 采用两阶段方法：首先，使用优化网络提取的特征训练支持向量机（SVM）；其次，使用Softmax分类器重新训练整个网络以提升性能。
• 应用逐层自适应优化，以在适应新领域统计特性的同时，保留ImageNet中学习到的高层物体和形状表征。
• 从第二个全连接层提取图像描述符，并利用t-SNE可视化确认特征在类别间具有良好的聚类效果。
• 采用3折交叉验证调优SVM超参数（Sigmoid核，C=10，γ=0.0001），以实现最佳泛化性能。
• 在精选插画图像和少量自然图像上评估最终模型，以测试其可迁移性和鲁棒性。

实验结果

研究问题

• RQ1 迁移学习能否有效适应预训练深度网络，以实现对高抽象度插画图像的高精度分类？
• RQ2 仅微调低层卷积层与全网络微调或基于特征的迁移相比，对艺术图像表现的影响如何？
• RQ3 在领域适应后，该模型在自然图像分类任务中仍能保持多大程度的分类能力？
• RQ4 低层特征适应对网络在不同视觉风格间泛化能力的影响如何？
• RQ5 与使用原始或噪声数据相比，使用经筛选的插画数据集能否提升分类准确率？

主要发现

• 所提出的优化VGG19 + SVM模型在精选插画数据集上达到86.61%的top-1准确率和97.21%的top-5准确率，相较于基线VGG19 + SVM提升了24.1%。
• 该模型在插画数据集上的top-1准确率较原始VGG19提升超过60个百分点，证明了分层微调策略的有效性。
• 尽管进行了网络结构修改，模型在自然图像上仍保持强劲性能，如照片的定性结果所示。
• t-SNE可视化证实，优化后的网络学习到具有判别性的、类别分离的图像描述符，从而支持SVM实现高效分类。
• 失败案例主要源于视觉显著性低或特征模糊，易与其他类别混淆，表明在高度抽象条件下泛化能力存在局限。
• 结果表明，即使在低层特征适应后，高层物体表征仍具有可迁移性，支持网络在不同领域间的鲁棒性。