[论文解读] Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN

Zhenyu Xie, Zaiyu Huang+4 more|arXiv (Cornell University)|Nov 20, 2021

3D Shape Modeling and AnalysisEngineering被引用 19

一句话总结

本文提出 PASTA-GAN，一种可扩展的无配对虚拟试穿框架，通过补丁路由解耦模块与空间自适应残差块，分离衣饰风格与空间特征，实现无需配对数据或在线优化的高保真端到端衣饰迁移，在 MPV 上达到最先进性能，并可泛化至包括全身及罕见类型（如吊带）在内的多种衣饰。

ABSTRACT

Image-based virtual try-on is one of the most promising applications of human-centric image generation due to its tremendous real-world potential. Yet, as most try-on approaches fit in-shop garments onto a target person, they require the laborious and restrictive construction of a paired training dataset, severely limiting their scalability. While a few recent works attempt to transfer garments directly from one person to another, alleviating the need to collect paired datasets, their performance is impacted by the lack of paired (supervised) information. In particular, disentangling style and spatial information of the garment becomes a challenge, which existing methods either address by requiring auxiliary data or extensive online optimization procedures, thereby still inhibiting their scalability. To achieve a \emph{scalable} virtual try-on system that can transfer arbitrary garments between a source and a target person in an unsupervised manner, we thus propose a texture-preserving end-to-end network, the PAtch-routed SpaTially-Adaptive GAN (PASTA-GAN), that facilitates real-world unpaired virtual try-on. Specifically, to disentangle the style and spatial information of each garment, PASTA-GAN consists of an innovative patch-routed disentanglement module for successfully retaining garment texture and shape characteristics. Guided by the source person keypoints, the patch-routed disentanglement module first decouples garments into normalized patches, thus eliminating the inherent spatial information of the garment, and then reconstructs the normalized patches to the warped garment complying with the target person pose. Given the warped garment, PASTA-GAN further introduces novel spatially-adaptive residual blocks that guide the generator to synthesize more realistic garment details.

研究动机与目标

• 解决现有虚拟试穿方法依赖配对训练数据所导致的可扩展性局限，此类数据获取成本高且受限。
• 克服无配对设置下衣饰风格与空间特征纠缠的问题，以提升纹理与形状保真度。
• 在不依赖辅助数据或在线优化流程的前提下，保持高质量生成效果。
• 实现端到端、适用于真实场景的任意衣饰（上半身、下半身及全身）虚拟试穿。

提出的方法

• 提出一种补丁路由解耦模块，将衣饰分解为归一化的空间补丁，降低固有的空间信息，以促进与空间无关的风格学习。
• 利用源人物关键点引导，将归一化补丁重构为适配目标人物姿态的形变衣饰，避免使用显式形变网络。
• 采用一种新颖的空间自适应残差块，动态调整特征对齐，纠正形变衣饰与目标身体形状之间的错位。
• 将形变衣饰特征整合到生成器的中间层，以引导逼真纹理生成并减少伪影。
• 结合风格与纹理生成分支，在生成过程中同时保留衣饰身份与细微细节。
• 采用重建损失在无监督设置下端到端训练模型，避免对配对监督或三维人体模型的依赖。

实验结果

研究问题

• RQ1 完全无监督的虚拟试穿模型是否能在无配对训练数据或辅助监督下实现高保真衣饰迁移？
• RQ2 在缺乏配对监督的情况下，如何有效解耦衣饰风格与空间特征，以保持纹理与形状保真度？
• RQ3 与全局形变或基于光流的方法相比，基于补丁的分解与重构是否能提升衣饰保真度？
• RQ4 空间自适应残差模块在复杂姿态与体型变化下，能在多大程度上缓解特征错位问题？
• RQ5 在无配对设置下，该方法是否能泛化至多样化的衣饰，包括罕见或全身类型？

主要发现

• PASTA-GAN 在 MPV 基准上超越了包括 PFAFN 在内的最先进配对方法，在 FID（22.4）与人工评估得分上均表现更优，证明其在无配对设置下的优越性。
• 该模型在全身体试穿及罕见衣饰（如吊带）等挑战性案例中仍能实现高质量结果，而配对方法则无法处理此类情况。
• 消融研究证实，补丁路由解耦模块对准确的衣饰形状生成至关重要，而空间自适应残差块对纹理清晰度与伪影减少具有决定性作用。
• 若移除纹理生成分支，将导致纹理保留效果差；若用普通残差块替代空间自适应块，则引发错位与模糊。
• 完整模型配置在视觉与定量指标上均表现最佳，FID 与人工评估得分显著优于消融变体。
• 该方法在无需在线优化或辅助数据的前提下，对多样化衣饰与姿态具有良好的泛化能力，证实其可扩展性。