[论文解读] WebCaricature: a benchmark for caricature recognition

Jing Huo, Wenbin Li+3 more|arXiv (Cornell University)|Mar 9, 2017

Face recognition and analysis参考文献 29被引用 49

一句话总结

本文提出了WebCaricature，一个大规模基准数据集，包含来自252位人物的12,016对漫画与照片，旨在推动漫画识别研究的发展。该数据集提供了面部关键点、评估协议以及基于深度学习和度量学习的基线结果，尽管当前最先进方法在跨模态识别中仅达到55.53%的rank-1准确率，但仍显示出显著的提升空间。

ABSTRACT

Studying caricature recognition is fundamentally important to understanding of face perception. However, little research has been conducted in the computer vision community, largely due to the shortage of suitable datasets. In this paper, a new caricature dataset is built, with the objective to facilitate research in caricature recognition. All the caricatures and face images were collected from the Web. Compared with two existing datasets, this dataset is much more challenging, with a much greater number of available images, artistic styles and larger intra-personal variations. Evaluation protocols are also offered together with their baseline performances on the dataset to allow fair comparisons. Besides, a framework for caricature face recognition is presented to make a thorough analyze of the challenges of caricature recognition. By analyzing the challenges, the goal is to show problems that worth to be further investigated. Additionally, based on the evaluation protocols and the framework, baseline performances of various state-of-the-art algorithms are provided. A conclusion is that there is still a large space for performance improvement and the analyzed problems still need further investigation.

研究动机与目标

• 为计算机视觉中的漫画识别研究解决缺乏大规模、多样化且标注完善的基准数据集的问题。
• 建立一个标准化的基准与评估协议，以实现社区内方法的公平比较。
• 分析漫画识别中的挑战，特别是人物内部差异以及照片与漫画之间的模态差异。
• 提供基于手工特征与深度学习特征的基线性能结果，结合对齐与度量学习技术，评估不同设置下的性能表现。
• 识别开放性问题，并为模态不变特征学习与漫画关键点检测的未来研究提供指导。

提出的方法

• 通过网络来源收集了6,024幅漫画和5,974张人脸照片，构建了WebCaricature数据集，涵盖多样的艺术风格与较高的个体内部差异。
• 采用自动化与人工验证相结合的方式，在所有图像上标注了面部关键点，以支持对齐与特征提取。
• 建立了三种评估协议：验证（VR@FAR=0.1% 和 1%）、识别（Rank-1 与 Rank-10），以及受限/非受限设置。
• 提出一个多阶段框架：人脸对齐（基于眼睛与基于边界框）、特征提取（SIFT 与 VGG-Face），以及度量学习（PCA 与 ITML/KCSR）。
• 应用KCSR（核化相关子空间）方法以减少照片与漫画之间的模态偏移，提升跨域泛化能力。
• 基线模型在不同设置下，结合手工特征（SIFT）与深度特征（VGG-Face），并辅以子空间与度量学习方法进行性能评估。

实验结果

研究问题

• RQ1 当前最先进识别模型在具有高度艺术化差异的漫画这一具有挑战性的领域中的泛化性能如何？
• RQ2 不同的面部对齐策略（基于眼睛与基于边界框）对漫画识别准确率的影响如何？
• RQ3 像KCSR这样的度量学习方法在多大程度上能够减少照片与漫画之间的模态差距？
• RQ4 在处理漫画中极端失真的情况下，深度学习特征与手工特征相比表现如何？
• RQ5 当前漫画识别系统中的主要瓶颈是什么？未来最具前景的研究方向是什么？

主要发现

• 在C2P（漫画到照片）设置中，表现最佳的方法VGG-Box-KCSR仅达到55.41%的rank-1准确率，表明仍有巨大提升空间。
• 在P2C（照片到漫画）设置中，最佳方法达到55.53%的rank-1准确率，显示出跨模态泛化能力的类似局限性。
• 深度学习特征（VGG-Face）显著优于手工特征（SIFT），尤其是在结合KCSR进行模态适应时。
• KCSR在所有设置中均持续提升了性能，证明其在减少照片与漫画之间域偏移方面的有效性。
• 即使在最优对齐与特征学习条件下，性能仍未达到饱和，凸显了对更优对齐与模态不变表示学习的迫切需求。
• 非受限设置的性能优于受限设置，表明更灵活的对齐与特征学习方法能更好地应对漫画的多样性。