[论文解读] Random Sampling for Fast Face Sketch Synthesis

Nannan Wang, Xinbo Gao+1 more|arXiv (Cornell University)|Jan 8, 2017

Face recognition and analysis参考文献 26被引用 8

一句话总结

本文提出RSLCR，一种快速的人脸素描生成方法，通过将在线K近邻（K-NN）搜索替换为离线随机采样，显著降低计算时间，同时保持高质量的生成效果。通过预先采样训练图像块，并施加局部性约束以确保相似的图像块获得相似的重建权重，该方法在公共基准测试中实现了最先进（SOTA）的运行速度和具有竞争力的性能表现。

ABSTRACT

Exemplar-based face sketch synthesis plays an important role in both digital entertainment and law enforcement. It generally consists of two parts: neighbor selection and reconstruction weight representation. The most time-consuming or main computation complexity for exemplar-based face sketch synthesis methods lies in the neighbor selection process. State-of-the-art face sketch synthesis methods perform neighbor selection online in a data-driven manner by $K$ nearest neighbor ($K$-NN) searching. Actually, the online search increases the time consuming for synthesis. Moreover, since these methods need to traverse the whole training dataset for neighbor selection, the computational complexity increases with the scale of the training database and hence these methods have limited scalability. In this paper, we proposed a simple but effective offline random sampling in place of online $K$-NN search to improve the synthesis efficiency. Extensive experiments on public face sketch databases demonstrate the superiority of the proposed method in comparison to state-of-the-art methods, in terms of both synthesis quality and time consumption. The proposed method could be extended to other heterogeneous face image transformation problems such as face hallucination. We release the source codes of our proposed methods and the evaluation metrics for future study online: http://www.ihitworld.com/RSLCR.html.

研究动机与目标

• 解决基于实例的人脸素描生成中在线K-NN邻居选择带来的高计算成本问题。
• 提升人脸素描生成方法在训练数据库规模增大时的可扩展性。
• 在显著降低推理时间的同时，保持或提升生成质量。
• 构建一个可扩展至其他异构人脸图像转换任务（如人脸超分）的框架。

提出的方法

• 将在线K-NN搜索替换为离线随机采样策略，以预先选择候选的图像块和素描块。
• 施加局部性约束，确保在加权线性组合中，相似的图像块被分配相似的重建权重。
• 采用加权线性重建模型：最小化 ||x - Xw||²₂，约束条件为 ∑wᵢ = 1 且 wᵢ ≥ 0，其中 x 为测试图像块，X 为采样的训练图像块矩阵。
• 在优化过程中引入局部性正则化项，以在空间相邻图像块之间强制实现重建权重的平滑性。
• 一次性离线训练采样与权重计算过程，从而在生成阶段实现快速推理。
• 通过优化采样与权重计算过程，将框架扩展为Fast-RSLCR，实现更高速度。

实验结果

研究问题

• RQ1 离线随机采样是否能在不降低生成质量的前提下替代在线K-NN搜索？
• RQ2 对重建权重施加局部性约束如何影响生成质量与鲁棒性？
• RQ3 与最先进方法相比，所提方法在推理时间上能实现多大程度的减少？
• RQ4 该框架能否推广至其他人脸图像转换任务（如人脸超分）？
• RQ5 在光照变化和面部形变等挑战性条件下，该方法表现如何？

主要发现

• 在CUFS数据库上，RSLCR实现了55.72%的平均SSIM得分，为所有对比SOTA方法中的最高值；在CUFSF数据库上，SSIM得分为44.96%，同样优于所有对比方法。
• Fast-RSLCR显著降低了推理时间，成为所有评估方法中效率最高的方法。
• 在CUFSF数据库上，RSLCR使用NLDA方法实现了75.94%的最佳人脸识别准确率，超越所有其他方法。
• 尽管SSIM得分更高，SSD生成了更多面部形变（如嘴部区域扭曲），导致其人脸识别准确率低于MWF。
• RSLCR中的局部性约束提升了重建的一致性，减少了伪影，尤其在纹理变化剧烈的区域表现更优。
• 离线采样策略使得在训练集规模增大时仍能保持可扩展性，且性能无下降。