[论文解读] Towards Multi-pose Guided Virtual Try-on Network

Haoye Dong, Xiaodan Liang+4 more|arXiv (Cornell University)|Feb 28, 2019

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 17

一句话总结

本文提出 MG-VTON，一种用于多姿态引导虚拟试穿的新型多阶段框架，通过将目标服装转移到任意姿态下的人物上，合成逼真的人物图像。该方法利用姿态与服装引导的人体分割、用于减少姿态引起的错位的变形生成对抗网络（Warp-GAN），以及结合多姿态组合掩码的细化网络以恢复细节，显著优于 MPV 和 DeepFashion 数据集上的最先进方法。

ABSTRACT

Virtual try-on system under arbitrary human poses has huge application potential, yet raises quite a lot of challenges, e.g. self-occlusions, heavy misalignment among diverse poses, and diverse clothes textures. Existing methods aim at fitting new clothes into a person can only transfer clothes on the fixed human pose, but still show unsatisfactory performances which often fail to preserve the identity, lose the texture details, and decrease the diversity of poses. In this paper, we make the first attempt towards multi-pose guided virtual try-on system, which enables transfer clothes on a person image under diverse poses. Given an input person image, a desired clothes image, and a desired pose, the proposed Multi-pose Guided Virtual Try-on Network (MG-VTON) can generate a new person image after fitting the desired clothes into the input image and manipulating human poses. Our MG-VTON is constructed in three stages: 1) a desired human parsing map of the target image is synthesized to match both the desired pose and the desired clothes shape; 2) a deep Warping Generative Adversarial Network (Warp-GAN) warps the desired clothes appearance into the synthesized human parsing map and alleviates the misalignment problem between the input human pose and desired human pose; 3) a refinement render utilizing multi-pose composition masks recovers the texture details of clothes and removes some artifacts. Extensive experiments on well-known datasets and our newly collected largest virtual try-on benchmark demonstrate that our MG-VTON significantly outperforms all state-of-the-art methods both qualitatively and quantitatively with promising multi-pose virtual try-on performances.

研究动机与目标

• 为解决现有方法在多样化人体姿态下难以处理错位及身份与纹理细节丢失的问题，提升真实感虚拟试穿效果。
• 开发一种方法，可在无需3D模型或大量人工标注的前提下，同时实现服装迁移与2D人物图像的姿态操控。
• 通过结构化监督建模姿态、服装与人体结构之间的相互作用，提升生成图像的真实性与结构一致性。
• 建立一个新的基准数据集 MPV，包含多样化的姿态与服装变化，用于多姿态虚拟试穿的评估。

提出的方法

• 一种姿态-服装引导的人体分割网络，根据输入的人物图像、目标服装和目标姿态生成目标人体分割图，实现精确的体部定位。
• 一种深度变形生成对抗网络（Warp-GAN），通过几何变换估计将目标服装图像形变并映射到合成的分割图上，以减少源姿态与目标姿态之间的错位。
• 一种细化网络利用多姿态组合掩码恢复细粒度纹理细节，并抑制形变与姿态操控过程中引入的伪影。
• 该框架采用对抗损失、感知损失以及多姿态组合掩码损失，以增强图像的真实感与结构一致性。
• 模型在新收集的 MPV 数据集上端到端训练，并在 DeepFashion 数据集上进行评估，通过 Amazon Mechanical Turk 的 A/B 测试进行人工评价。
• 该方法将复杂的虚拟试穿任务分解为三个阶段：分割图生成、通过形变进行粗略图像合成，以及高保真度的细化。

实验结果

研究问题

• RQ1 基于2D的虚拟试穿系统能否在多样化人体姿态下有效实现服装转移，同时保持身份与纹理细节？
• RQ2 人体分割提供的高层语义指导在多姿态虚拟试穿中如何提升对齐精度与真实感？
• RQ3 引入姿态感知的组合掩码在多大程度上能增强细节恢复并抑制生成图像中的伪影？
• RQ4 所提出的多阶段框架在视觉质量与跨多样化姿态和服装类型的泛化能力方面，相较于最先进方法表现如何？

主要发现

• 在 MPV 数据集上，MG-VTON 在 A/B 测试中的人工偏好得分为 83.1%（高于 VITON）和 85.9%（高于 CP-VTON），表明其具有出色的感知质量。
• 在 DeepFashion 数据集上，MG-VTON 超越所有基线方法，偏好得分达 88.9%（高于 VITON）和 84.6%（高于 CP-VTON），展现出强大的泛化能力。
• 消融实验表明，多姿态组合掩码损失与细化阶段显著减少了伪影并提升了纹理保真度。
• 合成的人体分割图质量与最终生成图像的真实感直接相关，验证了其作为关键监督信号的作用。
• 在 MPV 上训练的模型能很好地泛化到 DeepFashion，即使在不同数据集上测试也能生成高质量结果。
• 移除细化阶段（w/o Render）或组合掩码（w/o Mask）会导致性能明显下降，证实了其在细节恢复中的关键作用。