[论文解读] Style-Based Global Appearance Flow for Virtual Try-On

Sen He, Yi-Zhe Song+1 more|arXiv (Cornell University)|Apr 3, 2022

3D Shape Modeling and Analysis被引用 9

一句话总结

该论文提出了一种基于StyleGAN的全局外观光流估计模型，用于虚拟试穿，利用全局风格向量捕捉长距离上下文信息，提升在大尺度错位和复杂姿态下的鲁棒性。通过结合全局风格调制与局部光流细化，该方法在VITON基准上实现了最先进性能，SSIM为0.91，FID为8.89。

ABSTRACT

Image-based virtual try-on aims to fit an in-shop garment into a clothed person image. To achieve this, a key step is garment warping which spatially aligns the target garment with the corresponding body parts in the person image. Prior methods typically adopt a local appearance flow estimation model. They are thus intrinsically susceptible to difficult body poses/occlusions and large mis-alignments between person and garment images (see Fig.~ ef{fig:fig1}). To overcome this limitation, a novel global appearance flow estimation model is proposed in this work. For the first time, a StyleGAN based architecture is adopted for appearance flow estimation. This enables us to take advantage of a global style vector to encode a whole-image context to cope with the aforementioned challenges. To guide the StyleGAN flow generator to pay more attention to local garment deformation, a flow refinement module is introduced to add local context. Experiment results on a popular virtual try-on benchmark show that our method achieves new state-of-the-art performance. It is particularly effective in a `in-the-wild' application scenario where the reference image is full-body resulting in a large mis-alignment with the garment image (Fig.~ ef{fig:fig1} Top). Code is available at: \url{https://github.com/SenHe/Flow-Style-VTON}.

研究动机与目标

• 解决现有局部外观光流估计方法在人物与衣物图像间存在大尺度错位和复杂姿态时的局限性。
• 克服现有基于光流的方法因依赖局部特征对应关系而缺乏全局上下文信息的问题。
• 实现在使用全身人物图像的“真实世界”场景中，衣物变形的鲁棒性。
• 将局部细化与全局风格调制相结合，以平衡全局上下文建模与细粒度形变建模。
• 在推理阶段无需人类分割结果的前提下，实现在VITON基准上的最先进性能。

提出的方法

• 提出一种基于StyleGAN架构的新型外观光流估计模块，利用全局风格向量编码整体图像上下文信息。
• 在每个形变块中使用风格调制（SM），通过人物与衣物图像特征的拼接，生成全局外观光流。
• 引入局部光流细化（RF）模块，基于局部对应关系估计光流，以增强细粒度形变建模能力。
• 在堆叠形变块设计中结合全局光流估计（SM）与局部细化（RF），以提升精度。
• 采用感知损失与对抗性损失进行端到端训练，以确保试穿结果的真实性。
• 采用多尺度特征提取策略，其中全局风格向量由低分辨率特征图生成，以指导高分辨率光流预测。

Figure 2 : A schematic of our framework. The pre-trained parser based model $\mathcal{F}^{PB}$ generates an output image as the input of parser free model $\mathcal{F}$ . The two feature extractors in $\mathcal{F}$ extract the feature of person image and garment image, respectively. A style vector i

实验结果

研究问题

• RQ1 在基于StyleGAN的架构中引入全局风格向量，是否能提升在人物与衣物图像间存在大尺度错位时的外观光流估计性能？
• RQ2 在处理复杂姿态和遮挡时，全局风格调制与基于局部对应关系的光流估计相比，表现如何？
• RQ3 将全局风格调制与局部光流细化相结合，是否能获得优于单一组件的性能？
• RQ4 所提方法是否能在使用全身参考图像且存在显著空间错位的“真实世界”场景中实现良好泛化？
• RQ5 当全局光流不足以准确建模时，局部细化模块在提升局部形变精度方面有何贡献？

主要发现

• 所提方法在标准VITON基准上实现了新的最先进SSIM（0.91）与FID（8.89）性能，优于先前方法。
• 在人类评估中，该方法在56.8%的对比中优于次优方法（AF-PFN），表明其具有出色的感知质量。
• 消融实验表明，结合风格调制（SM）与局部细化（RF）的性能最佳（SSIM: 0.91，FID: 8.89），优于仅使用SM（SSIM: 0.89，FID: 9.84）或仅使用RF（SSIM: 0.89，FID: 10.73）的设置。
• 在大尺度错位下，该模型表现出显著更强的鲁棒性：当人物图像发生垂直偏移时，该方法性能保持稳定，而其他方法性能急剧下降。
• 在增强后的VITON数据集上，该方法性能下降极小（ΔSSIM: 0.00，ΔFID: 1.02），表明其具备强大的泛化能力与鲁棒性。
• 可视化分析表明，该方法能准确预测挑战区域（如袖口和领口）的局部光流，尤其在同时使用SM与RF时表现更优。

Figure 3 : Qualitative results from different models (CP-VTON++ [ 26 ] , ACGPN [ 42 ] , PF-AFN [ 9 ] and ours) on VITON testing dataset.