[论文解读] Superimposition-guided Facial Reconstruction from Skull

Celong Liu, Xin Li|arXiv (Cornell University)|Sep 28, 2018

Face recognition and analysis参考文献 10被引用 5

一句话总结

本文提出了一种新颖的颅骨引导面部重建流程，通过图像数据库生成面部候选，利用颅骨-面部叠加技术选择最佳匹配，并通过受约束的生成式修复方法优化面部。该方法在CT获取的颅骨-面部配对数据上实现了高精度（平均误差2.3–2.7毫米），显著优于直接基于图像的重建方法，通过几何引导的修正有效减少了不确定性。

ABSTRACT

We develop a new algorithm to perform facial reconstruction from a given skull. This technique has forensic application in helping the identification of skeletal remains when other information is unavailable. Unlike most existing strategies that directly reconstruct the face from the skull, we utilize a database of portrait photos to create many face candidates, then perform a superimposition to get a well matched face, and then revise it according to the superimposition. To support this pipeline, we build an effective autoencoder for image-based facial reconstruction, and a generative model for constrained face inpainting. Our experiments have demonstrated that the proposed pipeline is stable and accurate.

研究动机与目标

• 为解决从颅骨直接进行面部重建时因软组织深度约束有限而导致的病态问题。
• 通过用数据驱动的自动化流程替代人工泥塑建模，减少法医学面部重建中的主观性和不稳定性。
• 通过利用基于图像的面部候选和颅骨叠加技术引导几何优化，提升重建精度。
• 开发一种受约束的生成模型，以在保持面部真实感的同时与颅骨解剖结构对齐。

提出的方法

• 首先，利用在肖像照片数据库上训练的集成面部自编码器，生成多个3D面部候选。
• 通过基于地标配准将每个候选面部与查询颅骨对齐，并计算匹配似然得分，完成颅骨-面部叠加。
• 根据叠加结果，结合几何一致性和对齐度量指标，选择最佳匹配的面部候选。
• 应用一种几何约束的生成式面部修复模型，对选定面部进行修订，通过颅骨约束提升解剖学准确性。
• 在潜在空间中引入几何损失项，限制生成模型的搜索范围，使其仅限于全局上合理的、与颅骨匹配的面部形状。
• 由于训练3D生成模型存在挑战，将3D几何修复转化为图像级修复，再进行3D重建。

实验结果

研究问题

• RQ1 与直接的几何变形方法相比，基于数据驱动和图像的面部重建流程是否能有效降低颅骨基础面部重建中的模糊性并提升精度？
• RQ2 颅骨-面部叠加在从多样化图像生成的面部中选择最合理候选方面，其有效性如何？
• RQ3 受约束的生成式面部修复在提升面部几何与颅骨解剖结构匹配度的同时，能在多大程度上保持面部真实感？
• RQ4 与基线图像重建方法相比，所提出流程在几何精度方面的表现如何？
• RQ5 当输入图像质量差、表情极端或存在遮挡时，系统的失效模式是什么？

主要发现

• 所提流程在一组CT衍生的颅骨-面部配对上实现2.7毫米的平均重建误差，在另一组上实现2.3毫米，显著低于直接基于图像重建的误差。
• 无论初始面部候选为何，该方法均能生成稳定且准确的面部重建，展现出对输入变化的鲁棒性。
• 受约束的生成式修复模型成功优化了面部几何，使其更贴合颅骨，表现为颜色编码误差图中偏差的降低。
• 失效情况主要出现在输入图像具有极端表情或遮挡时，导致地标检测不准确，从而在重建中产生几何伪影。
• 当图像视角不佳或地标缺失时，系统性能下降，因为自编码器依赖于准确的地标检测进行重建。
• 当前的2D到3D修复流程是一个局限；未来工作计划开发直接的3D生成模型，尽管大规模3D面部数据集和模型架构仍具挑战。