[论文解读] Neural Pose Transfer by Spatially Adaptive Instance Normalization

Jiashun Wang, Chao Wen+5 more|arXiv (Cornell University)|Mar 16, 2020

Advanced Vision and Imaging被引用 7

一句话总结

本论文提出首个端到端神经姿态迁移模型，无需任何对应关系或辅助输入，即可将源身份的人体网格姿态迁移至目标身份网格。通过利用空间自适应实例归一化（SPAdaIN），该方法将身份视为'风格'，姿态视为'内容'，从而实现排列不变、鲁棒且可泛化的形变迁移，即使面对未见过的身份和噪声几何结构亦能有效工作。

ABSTRACT

Pose transfer has been studied for decades, in which the pose of a source mesh is applied to a target mesh. Particularly in this paper, we are interested in transferring the pose of source human mesh to deform the target human mesh, while the source and target meshes may have different identity information. Traditional studies assume that the paired source and target meshes are existed with the point-wise correspondences of user annotated landmarks/mesh points, which requires heavy labelling efforts. On the other hand, the generalization ability of deep models is limited, when the source and target meshes have different identities. To break this limitation, we proposes the first neural pose transfer model that solves the pose transfer via the latest technique for image style transfer, leveraging the newly proposed component -- spatially adaptive instance normalization. Our model does not require any correspondences between the source and target meshes. Extensive experiments show that the proposed model can effectively transfer deformation from source to target meshes, and has good generalization ability to deal with unseen identities or poses of meshes. Code is available at https://github.com/jiashunwang/Neural-Pose-Transfer .

研究动机与目标

• 解决在身份差异极大且无点对点对应关系的人体网格之间进行姿态迁移的挑战。
• 消除对昂贵人工标注或辅助网格以弥合形状差异的依赖。
• 开发一种深度学习模型，无需微调即可泛化至未见过的身份和姿态。
• 实现排列不变的网格处理，支持灵活的输入顶点排序。

提出的方法

• 引入空间自适应实例归一化（SPAdaIN），将2D图像的风格迁移技术拓展至3D点云。
• 采用类似PointNet的编码器-解码器架构，独立处理源姿态网格与目标身份网格。
• 对所有顶点应用实例归一化，使特征对顶点顺序排列保持不变。
• 从目标网格顶点学习仿射变换，以引导源网格中的特征调制，实现身份感知的姿态迁移。
• 使用1×1卷积滤波器处理单个顶点，以保持局部几何上下文。
• 采用全局姿态特征（通过最大池化获得）作为消融实验的基线，但更倾向于使用完整的逐顶点特征学习以获得更优性能。

实验结果

研究问题

• RQ1 是否可以在不依赖源网格与目标网格之间显式对应关系的前提下实现神经姿态迁移？
• RQ2 深度学习模型是否能在无需微调的情况下泛化至未见过的身份和姿态？
• RQ3 姿态迁移模型是否对输入网格的顶点顺序具有不变性？
• RQ4 SPAdaIN与传统归一化及3D网格形变中的风格迁移方法相比表现如何？
• RQ5 该方法是否可通过领域特定的训练泛化至非人类网格（如动物）？

主要发现

• 所提模型在已见姿态上的PMD为1.1×10⁻⁴，在未见姿态上为9.3×10⁻⁴，优于基于骨骼和最大池化基线的方法。
• 无论顶点顺序如何，模型均能生成视觉一致的结果，充分证明了排列不变性。
• 成功将姿态迁移至FAUST和MG-dataset中的非-SMPL网格，有效保留了面部胡须和衣物等细节。
• 尽管存在领域差异，该方法仍能泛化至非人类网格（如骆驼到马的迁移），仅产生轻微伪影。
• 模型对网格噪声具有鲁棒性，在输入姿态网格受损时仍能保持正确姿态。
• 消融实验表明，全局池化姿态特征的表现劣于完整的逐顶点特征学习，表明后者能更好保留细粒度姿态信息。