[论文解读] PAniC-3D: Stylized Single-view 3D Reconstruction from Portraits of Anime Characters

Shuhong Chen, Kevin Zhang+8 more|arXiv (Cornell University)|Mar 25, 2023

Advanced Vision and Imaging被引用 4

一句话总结

PAniC-3D 提出了一种新颖的系统，用于从基于线条的动漫人物肖像插画中进行风格化单视角3D重建，通过线条填充模型弥合了插画与3D之间的域差距，并采用体素辐射场实现高保真度的几何形状与纹理。该方法在新的AnimeRecon基准测试中达到最先进性能，显著优于基线方法，在感知质量和几何保真度方面均表现更优。

ABSTRACT

We propose PAniC-3D, a system to reconstruct stylized 3D character heads directly from illustrated (p)ortraits of (ani)me (c)haracters. Our anime-style domain poses unique challenges to single-view reconstruction; compared to natural images of human heads, character portrait illustrations have hair and accessories with more complex and diverse geometry, and are shaded with non-photorealistic contour lines. In addition, there is a lack of both 3D model and portrait illustration data suitable to train and evaluate this ambiguous stylized reconstruction task. Facing these challenges, our proposed PAniC-3D architecture crosses the illustration-to-3D domain gap with a line-filling model, and represents sophisticated geometries with a volumetric radiance field. We train our system with two large new datasets (11.2k Vroid 3D models, 1k Vtuber portrait illustrations), and evaluate on a novel AnimeRecon benchmark of illustration-to-3D pairs. PAniC-3D significantly outperforms baseline methods, and provides data to establish the task of stylized reconstruction from portrait illustrations.

研究动机与目标

• 为解决从模糊且缺乏真实感阴影的单线条肖像插画中重建风格化3D动漫角色头部的挑战。
• 弥合风格化插画与3D渲染之间的域差距，特别是由于非真实感轮廓线以及头发和配饰等复杂几何结构带来的影响。
• 鉴于缺乏成对的插画-3D数据，建立一个用于动漫领域风格化单视角3D重建的新基准与数据集。
• 开发一种稳健的端到端系统，直接从2D插画生成高质量、带纹理的3D辐射场，无需多视角监督。
• 实现从艺术家构思的肖像图自动创建高保真3D化身，减少对人工3D建模的依赖。

提出的方法

• 该系统采用基于EG3D的条件生成框架，通过多视角3D渲染的2.5D监督进行重建适配。
• 训练了一种新颖的线条填充模型，将线条插画转换为清晰的渲染风格图像，同时去除轮廓线，保留面部身份与结构。
• 该架构采用三平面表示法，并结合多层特征融合与沿三平面轴的特征池化操作，以提升几何细节与特征清晰度。
• 通过固定侧面/背面视角的监督信号，增强几何一致性，减少遮挡区域的伪影。
• 采用L1、LPIPS与基于CLIP的损失组合，以优化像素级与语义级保真度。
• 系统在包含1,000张正面、中性表情肖像插画的新Vtuber数据集，以及包含11,200个3D角色模型及其多视角渲染图像的Vroid数据集上进行训练。

Figure 1 : Overview of contributions. Our (A) PAniC-3D system is able to reconstruct a 3D radiance field directly from a line-based portrait illustration. We gather a new (B) Vtuber illustration dataset and (C) Vroid 3D models dataset in order to cross the illustration-render domain gap and supervis

实验结果

研究问题

• RQ1 能否利用单张线条肖像插画重建出高保真度、风格化的3D辐射场动漫角色？
• RQ2 如何有效弥合风格化插画与3D渲染之间的域差距，以提升重建质量？
• RQ3 在风格化3D重建中，哪些架构组件最有效地保留了复杂几何结构与身份特征？
• RQ4 线条移除模型在多大程度上能提升从插画进行下游3D重建的效果？
• RQ5 所提出的系统在定量与定性方面与现有隐式重建及图像到图像翻译基线方法相比表现如何？

主要发现

• PAniC-3D在AnimeRecon基准测试中取得18.26的LPIPS分数，显著优于基线方法如Telea（23.91）与CycleGAN（21.39）。
• 系统获得94.97的CLIP分数，表明其在语义与身份保留方面表现优异，超过UGATIT（85.48）与CycleGAN（93.81）。
• 引入固定侧面/背面视角监督可提升几何与纹理保真度，减少肩部区域的额外轮廓线与条带状伪影。
• 消融实验证实，特征池化与多层三平面特征可增强几何细节与特征清晰度。
• 线条填充模型能有效去除非真实感轮廓线，同时保留面部结构，在身份保留方面优于简单修复与现成GAN模型。
• 尽管性能表现优异，但在遮挡区域与耳部连接处，重建质量仍落后于真实3D资产，表明在以对象为中心或部件感知生成方面仍有改进空间。

Figure 2 : (a) No-line diffuse render, (b) real-lined illustration, (c) Blender Freestyle [ 14 ] , (d) RTSC suggestive contours [ 9 ] . Toon shaders over-draw (c, cheeks) or miss lines (d, bowtie); it is non-trivial to model the artistic line placement in real drawings (b). Thus, we train our Illust