[论文解读] What Makes Kevin Spacey Look Like Kevin Spacey

Supasorn Suwajanakorn, Ira Kemelmacher-Shlizerman+1 more|arXiv (Cornell University)|Jun 2, 2015

Face recognition and analysis参考文献 26被引用 4

一句话总结

本文提出了一种系统，能够从非结构化的照片集合中重建出可控制的3D面部模型，以捕捉一个人的“人格特质”——即其独特的外貌和行为特征。通过结合3D人脸重建、跟踪、对齐和多纹理建模，该方法实现了木偶戏效果：使用另一个人的视频驱动重建的模型，同时保持目标对象的身份、形状和纹理，仅利用互联网图像即可在名人身上实现高度逼真且一致的结果。

ABSTRACT

We reconstruct a controllable model of a person from a large photo collection that captures his or her {\em persona}, i.e., physical appearance and behavior. The ability to operate on unstructured photo collections enables modeling a huge number of people, including celebrities and other well photographed people without requiring them to be scanned. Moreover, we show the ability to drive or {\em puppeteer} the captured person B using any other video of a different person A. In this scenario, B acts out the role of person A, but retains his/her own personality and character. Our system is based on a novel combination of 3D face reconstruction, tracking, alignment, and multi-texture modeling, applied to the puppeteering problem. We demonstrate convincing results on a large variety of celebrities derived from Internet imagery and video.

研究动机与目标

• 开发一种系统，仅使用非结构化的照片和视频集合，捕捉一个人的“人格特质”——其独特的视觉身份和行为特征。
• 实现使用另一个人（A）的视频对另一个人（B）进行逼真的木偶戏操控，使B模仿A的表情，同时保留B自身的面部身份和纹理。
• 克服先前方法依赖受控扫描或实验室环境的局限，通过大规模、非结构化的互联网图像实现3D模型重建。
• 从多样化的照片中合成高保真、与表情相关的纹理，保留皱纹、褶皱和光照变化等细节。
• 证明在无需主动参与或专用设备的情况下，为拍摄良好的个体创建逼真且可控制的虚拟形象的可行性。

提出的方法

• 利用3D人脸重建和形状变形技术，从大量照片集合中重建目标人物（B）的3D人脸模型。
• 通过3D光流估计表情驱动的形变，对驱动者（A）视频中的面部几何和运动进行对齐与跟踪。
• 通过估计的运动场对B的重建3D形状进行形变，将驱动者（A）的运动转移到木偶（B）上。
• 通过多尺度混合对集合中对齐的照片进行处理，为B合成详细、与表情相关的纹理，保留如皱纹等高频细节。
• 基于面部表情、光照和外观的相似性度量，对纹理平均过程中的照片进行加权，确保一致性和逼真度。
• 在图像金字塔上应用分层混合过程，以保持清晰度并减少闪烁，尤其在光照条件变化时表现更优。

实验结果

研究问题

• RQ1 哪些外貌和行为特征能定义一个人在不同角色中可识别的“人格特质”？
• RQ2 能否仅从非结构化、未校准的照片集合中重建出逼真且可控制的3D面部模型，而无需扫描或实验室环境？
• RQ3 如何在保留目标对象身份、形状和纹理的前提下，将一个人的面部动作转移到另一个人身上？
• RQ4 哪些技术能够实现从大规模、多样化照片集合中一致且高保真的纹理合成，即使光照和表情各异？
• RQ5 在仅使用现有照片数据的前提下，该系统在未见表情或光照条件下具有多大程度的泛化能力？

主要发现

• 系统能从大规模照片集合中成功生成高度逼真、与表情相关的纹理，保留如皱纹和褶皱等细微细节。
• 结果表明，使用B的形状和纹理结合A的运动，产生的木偶戏效果比其他方法更具说服力和可信度。
• 与基线方法（静态变形、未对齐加权平均、预变形平均）相比，本方法生成的纹理更清晰、更一致且具备表情感知能力。
• 在不同光照条件下，纹理合成依然稳健，因为低频阴影效应被平均掉，而当存在足够数量相似表情的照片时，高频细节得以保留。
• 由于采用了多尺度混合和基于相似性的加权策略，系统在参考图像光照强烈或为黑白图像时仍能保持一致结果。
• 当照片集合较小时或表情变化有限时性能会下降，但可通过调整相似性阈值和混合过程中的标准差进行缓解。