[论文解读] TryOnGAN: Body-Aware Try-On via Layered Interpolation

Kathleen M. Lewis, Srivatsan Varadharajan+1 more|arXiv (Cornell University)|Jan 6, 2021

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 4

一句话总结

TryOnGAN 提出了一种基于 StyleGAN2 的新型、姿态条件化的图像生成方法，用于实现逼真的虚拟试穿。该方法通过逐层潜在空间插值实现对身体结构的感知衣物转移，在无需成对训练数据的情况下，于 512×512 分辨率图像上实现了最先进性能。该方法在保持身份特征、肤色与身体形态的同时，实现衣物的无缝融合，且由于采用逐层优化的插值系数，其在真实图像与生成图像上均表现出优越性能。

ABSTRACT

Given a pair of images-target person and garment on another person-we automatically generate the target person in the given garment. Previous methods mostly focused on texture transfer via paired data training, while overlooking body shape deformations, skin color, and seamless blending of garment with the person. This work focuses on those three components, while also not requiring paired data training. We designed a pose conditioned StyleGAN2 architecture with a clothing segmentation branch that is trained on images of people wearing garments. Once trained, we propose a new layered latent space interpolation method that allows us to preserve and synthesize skin color and target body shape while transferring the garment from a different person. We demonstrate results on high resolution 512x512 images, and extensively compare to state of the art in try-on on both latent space generated and real images.

研究动机与目标

• 解决先前虚拟试穿方法忽略身体形态形变、肤色一致性及衣物无缝融合的问题。
• 开发一种在高分辨率（512×512）图像上实现高保真度试穿的方法，且无需成对训练数据。
• 实现在保留目标人物身份与身体结构的同时，准确转移复杂衣物纹理与图案。
• 设计一种潜在空间优化策略，自动计算每层的最优插值系数，避免人工调参。
• 通过无配对数据验证方法在多种体型、姿态与衣物风格下的泛化能力。

提出的方法

• 在 10 万张无配对时尚图像上训练修改后的 StyleGAN2 架构，集成姿态条件生成器与衣物分割分支。
• 通过优化生成器每一层的插值系数，实现目标人物与衣物图像之间的逐层潜在空间插值。
• 优化过程由多组件损失函数引导，包括身份损失（用于面部与头发区域）、定位损失（限制修改仅限于衣物区域）以及衣物损失（用于转移形状、颜色与纹理）。
• 对于真实图像试穿，先通过投影步骤将输入图像映射至 StyleGAN 潜在空间，再进行插值；对于生成图像，则跳过此步骤。
• 该架构在优化过程中可实现图像分割，从而在无需外部分割模型的情况下实现区域特定的精准编辑。
• 通过显式地将生成器条件化于 2D 人体姿态，支持跨姿态试穿，实现在合成过程中对目标人物姿态的精确控制。

实验结果

研究问题

• RQ1 基于 GAN 的方法是否能在无需成对训练数据的情况下实现高保真虚拟试穿，同时保持身份、肤色与身体形态？
• RQ2 与贪婪搜索或固定参数方法相比，逐层潜在空间插值在保留衣物细节与身份特征方面表现如何？
• RQ3 该方法在多大程度上能将衣物图像中的复杂纹理与几何图案成功转移到目标人物身上？
• RQ4 姿态条件化在提升试穿结果质量与可控性方面，对不同身体姿态的表现有何改善？
• RQ5 损失函数各组件（身份、定位、衣物）对最终合成质量与语义一致性的影响如何？

主要发现

• TryOnGAN 在 512×512 的真实图像与生成图像上均达到最先进性能，其在逼真度、身体形态保真度与肤色一致性方面优于先前方法。
• 与贪婪搜索方法相比，逐层优化方法显著提升了细节传递效果，如袖长与纹理图案的保真度，定性对比结果已验证此优势。
• 在生成图像上，TryOnGAN 有效转移了高频细节，如几何图案与复杂纹理，充分展现了该优化方法的潜力。
• 消融实验证实，身份、定位与衣物三项损失组件对生成逼真图像并实现正确语义编辑均不可或缺。
• 该方法能一致地合成皮肤与身体部位，例如在将短袖衬衫转移到长袖目标人物时，能合理地表现出更多手臂暴露。
• 尽管性能优异，该方法在极端姿态与罕见衣物上性能有所下降，且真实图像结果受限于当前潜在空间投影质量。