[论文解读] Random Sampling and Locality Constraint for Face Sketch.

Nannan Wang, Xinbo Gao+1 more|arXiv (Cornell University)|Jan 8, 2017

Face recognition and analysis被引用 12

一句话总结

本文提出了一种高效的面部素描合成方法，通过离线随机采样和局部性约束替代在线 K-NN 搜索，显著降低了时间消耗，同时提升了合成质量。该方法在公开数据集上表现出色，相较于最先进方法具有更好的可扩展性和计算效率。

ABSTRACT

Face sketch synthesis plays an important role in both digital entertainment and law enforcement. It generally consists of two parts: neighbor selection and reconstruction weight representation. State-of-the-art face sketch synthesis methods perform neighbor selection online in a data-driven manner by $K$ nearest neighbor ($K$-NN) searching. However, the online search increases the time consuming for synthesis. Moreover, since these methods need to traverse the whole training dataset for neighbor selection, the computational complexity increases with the scale of the training database and hence these methods have limited scalability. In addition, state-of-the-art methods consider that all selected neighbors contribute equally to the reconstruction weight computation process while the distinct similarity between the test patch and these neighbors are neglected. In this paper, we employ offline random sampling in place of online $K$-NN search to improve the synthesis efficiency. Locality constraint is introduced to model the distinct correlations between the test patch and random sampled patches. Extensive experiments on public face sketch databases demonstrate the superiority of the proposed method in comparison to state-of-the-art methods, in terms of both synthesis quality and time consumption. The proposed method could be extended to other heterogeneous face image transformation problems such as face hallucination. We will release the source codes of our proposed methods and the evaluation metrics for future study online: this http URL

研究动机与目标

• 解决最先进面部素描合成方法中在线 K-NN 搜索带来的高计算成本问题。
• 通过减少推理过程中对大型训练数据库的依赖，提升可扩展性。
• 比均匀加权方法更准确地建模测试块与邻近块之间的差异相似性。
• 提升异构面部图像转换任务中的合成质量与效率。

提出的方法

• 用离线随机采样替代在线 K-NN 搜索，预先选择候选块，消除实时邻居计算。
• 引入局部性约束机制，根据采样块与测试块的相似性来加权其贡献。
• 采用加权重建方案，其中权重由采样接近度与与测试块的相似性共同决定。
• 一次性离线训练模型，并在推理阶段应用预采样的块以加速合成。
• 利用局部性约束突出相关邻居并抑制不相似的邻居，从而提高重建精度。
• 设计方法使其可扩展至其他面部图像转换任务，如面部超分辨率。

实验结果

研究问题

• RQ1 离线随机采样能否有效替代在线 K-NN 搜索，从而降低面部素描合成的时间消耗？
• RQ2 与均匀邻居加权相比，引入局部性约束如何提升重建质量？
• RQ3 随着训练数据库规模的增加，该方法的可扩展性如何？
• RQ4 在公开基准测试中，该方法与最先进方法相比是否保持或提升了合成质量？
• RQ5 该方法能否推广至其他异构面部图像转换任务？

主要发现

• 由于消除了在线 K-NN 搜索，所提方法在合成时间上优于最先进方法。
• 在公开面部素描数据库上，合成质量通过标准度量指标得到提升。
• 该方法表现出更好的可扩展性，计算成本不随训练集规模增加而上升。
• 局部性约束有效建模了测试块与邻居之间的差异相似性，从而实现更精确的重建。
• 该方法可应用于其他面部图像转换任务，如面部超分辨率。
• 源代码与评估指标将在线发布，以支持未来研究。