[论文解读] SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance

Yuanyou Xu, Zongxin Yang+1 more|arXiv (Cornell University)|Dec 13, 2023

Computer Graphics and Visualization Techniques被引用 5

一句话总结

SEEAvatar 提出了一种基于自进化约束的逼真文本到3D角色生成方法，通过解耦并增强几何与外观，实现高质量的几何与外观建模。该方法结合了用于全局形状控制的自进化模板角色与用于局部细节的静态人体先验，并在基于扩散模型的外观建模中引入亮度约束，从而生成高保真度的网格与贴图，支持经典图形渲染管线中的逼真渲染，在几何与外观质量上均优于先前方法。

ABSTRACT

Powered by large-scale text-to-image generation models, text-to-3D avatar generation has made promising progress. However, most methods fail to produce photorealistic results, limited by imprecise geometry and low-quality appearance. Towards more practical avatar generation, we present SEEAvatar, a method for generating photorealistic 3D avatars from text with SElf-Evolving constraints for decoupled geometry and appearance. For geometry, we propose to constrain the optimized avatar in a decent global shape with a template avatar. The template avatar is initialized with human prior and can be updated by the optimized avatar periodically as an evolving template, which enables more flexible shape generation. Besides, the geometry is also constrained by the static human prior in local parts like face and hands to maintain the delicate structures. For appearance generation, we use diffusion model enhanced by prompt engineering to guide a physically based rendering pipeline to generate realistic textures. The lightness constraint is applied on the albedo texture to suppress incorrect lighting effect. Experiments show that our method outperforms previous methods on both global and local geometry and appearance quality by a large margin. Since our method can produce high-quality meshes and textures, such assets can be directly applied in classic graphics pipeline for realistic rendering under any lighting condition. Project page at: https://yoxu515.github.io/SEEAvatar/.

研究动机与目标

• 解决现有文本到3D角色生成方法在全局形状、局部细节和光照真实感方面存在的局限性，尤其在几何与外观质量方面表现不佳的问题。
• 通过将几何与外观解耦为可导出的网格与贴图，实现支持物理渲染（PBR）的逼真3D角色生成。
• 通过双约束系统提升形状保真度与结构细节：使用自进化模板角色控制全局形状，使用静态人体先验（如SMPL-X）保留面部与手部等局部特征。
• 在基于扩散模型的外观生成中引入亮度约束，抑制反照率贴图中的错误光照效应，确保PBR管线中反照率表示的准确性。
• 通过提示词工程与扩散流程中的均匀缩放提升外观质量，减少伪影与过度饱和现象。

提出的方法

• 使用自进化模板角色通过符号距离函数（SDF）与法线约束，对当前角色的全局形状进行约束，实现灵活且符合人体先验的几何生成。
• 定期使用优化后的当前角色更新模板角色，使其能适应不同体型与服装风格，同时保持结构完整性。
• 在面部与手部等高细节区域应用静态人体先验（如SMPL-X），确保精细结构的准确性。
• 外观生成采用增强正负提示词工程的扩散模型，以提升纹理质量与细节丰富度。
• 在反照率贴图上施加亮度约束，抑制光照烘焙效应，确保PBR管线中反照率表示的真实感。
• 在扩散推理过程中强制执行均匀缩放，防止深度维度伪影，提升纹理一致性与质量。

实验结果

研究问题

• RQ1 自进化模板角色是否能在保持人体先验约束的前提下，提升文本到3D角色生成中全局形状的保真度与多样性？
• RQ2 在灵活形状生成过程中，如何有效保留手部与面部等局部几何细节？
• RQ3 在扩散模型中，提示词工程与亮度约束在多大程度上可减少光照伪影并提升反照率真实感？
• RQ4 解耦的几何与外观生成是否能生成支持任意光照条件下真实渲染的PBR就绪资产？
• RQ5 SDF与法线约束在细分的DMTet表示中如何贡献于表面平滑性与高分辨率网格质量？

主要发现

• SEEAvatar 在全局与局部几何质量方面均达到当前最先进水平，人工评估显示其在所有指标上显著优于DreamWaltz与TADA。
• 消融实验证实，SDF与法线约束对维持全局形状与表面平滑性至关重要，尤其在使用高分辨率四面体网格时更为显著。
• 自进化模板角色使模型能够生成超越原始SMPL-X先验的多样化形状，如长裙或独特发型的角色，而固定模板则无法实现此类生成。
• 亮度约束有效抑制了反照率贴图中的虚假高光与非均匀光照，生成更准确、更真实的PBR材质。
• 负向提示词与均匀缩放显著减少了过度饱和与条纹伪影，提升了外观真实感与纹理一致性。
• 生成的高保真网格与贴图可直接用于Blender等图形工具进行重新布光、姿态调整与逼真渲染。