[论文解读] PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization

Shunsuke Saito, Tomas Simon+2 more|arXiv (Cornell University)|Apr 1, 2020

Human Pose and Action Recognition参考文献 46被引用 42

一句话总结

PIFuHD 引入一个两级、端到端的像素对齐隐式函数，能够从单张 1024×1024 图像在 1k 分辨率下重建高保真有衣服的人体 3D，并通过预测的前后法线来解决遮挡问题。

ABSTRACT

Recent advances in image-based 3D human shape estimation have been driven by the significant improvement in representation power afforded by deep neural networks. Although current approaches have demonstrated the potential in real world settings, they still fail to produce reconstructions with the level of detail often present in the input images. We argue that this limitation stems primarily form two conflicting requirements; accurate predictions require large context, but precise predictions require high resolution. Due to memory limitations in current hardware, previous approaches tend to take low resolution images as input to cover large spatial context, and produce less precise (or low resolution) 3D estimates as a result. We address this limitation by formulating a multi-level architecture that is end-to-end trainable. A coarse level observes the whole image at lower resolution and focuses on holistic reasoning. This provides context to an fine level which estimates highly detailed geometry by observing higher-resolution images. We demonstrate that our approach significantly outperforms existing state-of-the-art techniques on single image human shape reconstruction by fully leveraging 1k-resolution input images.

研究动机与目标

• 推动超越 512×512 输入限制的高保真单图3D人体重建。
• 提出一种多层级、端到端的框架，将粗粒度全局上下文与高分辨率局部细节融合。
• 通过图像空间法线利用背面/遮挡区域的引导来提高完整性和真实感。
• 展示能够保留手指、面部特征和服装褶皱的1k分辨率重建。

提出的方法

• 将 Pixel-Aligned Implicit Function (PIFu) 扩展为一个处理 512×512（粗粒度）和 1024×1024（细粒度）输入的两级架构。
• 粗粒度层使用降采样后的图像特征以及预测的前/后法线来预测占据度；并向细粒度层提供3D嵌入。
• 细粒度层利用高分辨率特征和粗粒度3D嵌入来预测更高保真度的占据场。
• 前/后法线通过图像到图像转换网络（pix2pixHD）生成，并作为额外特征输入，用于引导遮挡区域的几何。
• 训练使用多级损失，在采样点上应用扩展的 BCE，并包含对曲率感知的重要性采样以提高清晰度。
• 对粗粒度和细粒度模块进行交替训练往往比端到端联合训练获得更高的精度。

实验结果

研究问题

• RQ1 多层次、像素对齐的隐式表示是否能够利用高分辨率输入从单张图像生成具备1k细节的3D人体？
• RQ2 将粗粒度层的3D嵌入与图像空间法线先验结合是否能提升背面和细节重构？
• RQ3 粗粒度与细粒度的交替训练是否比端到端联合训练在高保真重建方面更有效？
• RQ4 在点到表面距离、Chamfer距离和法线一致性方面，该方法与最先进的单视图方法相比如何？

主要发现

• 在 RenderPeople 和 BUFF 数据集上，1k 分辨率下相比单级 PIFu 和其他基线实现了更高保真度的3D重建。
• 大规模高分辨率特征嵌入（512×512）以及整体3D嵌入相对于 128×128 特征提升了细节。
• 通过图像空间引导纳入预测的背面法线减少歧义并提高遮挡区域细节。
• 交替进行粗粒度/细粒度训练通常比端到端联合训练具有更高的准确性。
• 在使用法线时，定性结果显示前后表面的细节更清晰、皱纹更逼真。