[论文解读] PASTA-GAN++: A Versatile Framework for High-Resolution Unpaired Virtual Try-on

Zhenyu Xie, Zaiyu Huang+6 more|arXiv (Cornell University)|Jul 27, 2022

Image Enhancement Techniques被引用 5

一句话总结

PASTA-GAN++ 提出了一种新颖的、端到端的、无监督的高分辨率非配对虚拟试穿框架，支持任意服装类别，并通过双路径 StyleGAN2 生成器中的补丁路由解耦模块和补丁引导的解析合成模块实现细粒度编辑。该方法在新构建的高分辨率非配对虚拟试穿（UPT）数据集上实现了最先进性能，支持可控编辑，如穿衣顺序控制、纹理/形状迁移以及局部形状修改。

ABSTRACT

Image-based virtual try-on is one of the most promising applications of human-centric image generation due to its tremendous real-world potential. In this work, we take a step forwards to explore versatile virtual try-on solutions, which we argue should possess three main properties, namely, they should support unsupervised training, arbitrary garment categories, and controllable garment editing. To this end, we propose a characteristic-preserving end-to-end network, the PAtch-routed SpaTially-Adaptive GAN++ (PASTA-GAN++), to achieve a versatile system for high-resolution unpaired virtual try-on. Specifically, our PASTA-GAN++ consists of an innovative patch-routed disentanglement module to decouple the intact garment into normalized patches, which is capable of retaining garment style information while eliminating the garment spatial information, thus alleviating the overfitting issue during unsupervised training. Furthermore, PASTA-GAN++ introduces a patch-based garment representation and a patch-guided parsing synthesis block, allowing it to handle arbitrary garment categories and support local garment editing. Finally, to obtain try-on results with realistic texture details, PASTA-GAN++ incorporates a novel spatially-adaptive residual module to inject the coarse warped garment feature into the generator. Extensive experiments on our newly collected UnPaired virtual Try-on (UPT) dataset demonstrate the superiority of PASTA-GAN++ over existing SOTAs and its ability for controllable garment editing.

研究动机与目标

• 开发一种多功能的虚拟试穿系统，支持使用非配对数据进行无监督训练。
• 在单一模型中实现对任意服装类别（例如上身、下身、连衣裙等）的处理。
• 支持细粒度、可控的服装编辑，如穿衣顺序控制、纹理/形状迁移和局部形状编辑。
• 在无需配对数据或在线优化的情况下，生成高保真、逼真的试穿结果。

提出的方法

• 引入一种补丁路由解耦模块，将服装分解为归一化的空间补丁，将风格与空间布局解耦，从而在无监督训练中减少过拟合。
• 采用基于补丁的服装表示和补丁引导的解析合成模块，实现动态、类别无关的多样化服装生成。
• 集成一种空间自适应残差模块，将粗略扭曲的服装特征注入生成器，以保留纹理细节并提升真实感。
• 采用双路径 StyleGAN2 生成器架构，同时以人物图像和补丁嵌入的服装表示作为条件，实现精确、局部化的编辑。
• 利用一个新颖的高分辨率非配对虚拟试穿（UPT）基准数据集（512×320 分辨率），以验证性能和泛化能力。
• 通过在潜在空间中操作单个归一化补丁，实现可控编辑，支持形状/纹理迁移和局部修改。

实验结果

研究问题

• RQ1 单一模型是否能在无需类别特定微调的情况下，泛化于多种服装类别（如衬衫、连衣裙、长裤）？
• RQ2 在无配对监督的情况下，无监督训练在多大程度上能实现高保真虚拟试穿？
• RQ3 该模型是否能支持细粒度、可控的服装编辑，如穿衣顺序控制和局部形状修改？
• RQ4 基于补丁的表示在无监督虚拟试穿中如何提升解耦效果并减少过拟合？

主要发现

• PASTA-GAN++ 在新收集的 UPT 数据集上实现了最先进性能，在定量指标和视觉质量方面均优于现有 SOTA 方法。
• 该模型成功在单一预训练框架中支持任意服装类别，而大多数先前方法仅限于上身或固定类别。
• 通过补丁级操作实现可控编辑，包括穿衣顺序控制（塞入/拉出）、纹理/形状迁移以及高保真度的局部形状编辑。
• 补丁路由解耦模块有效分离了风格与空间布局，减少了无监督训练中的过拟合，提升了泛化能力。
• 空间自适应残差模块显著增强了最终试穿结果的纹理细节保留和真实感。
• 大量消融实验验证了各组件的有效性，尤其证实了补丁引导的解析合成模块在实现灵活、类别无关生成中的关键作用。