[论文解读] VITON-GAN: Virtual Try-on Image Generator Trained with Adversarial Loss

Shion Honda|arXiv (Cornell University)|Jan 1, 2019

Generative Adversarial Networks and Image Synthesis被引用 23

一句话总结

本文提出 VITON-GAN，一种用于虚拟试穿的生成对抗网络，通过将对抗损失整合到试穿模块中，提升了遮挡情况下的图像质量。通过使用人体表征、服装图像和生成结果对抗训练生成器与判别器，该模型在手臂交叉等复杂情况下生成了更清晰、更逼真的试穿效果。

ABSTRACT

Generating a virtual try-on image from in-shop clothing images and a model person's snapshot is a challenging task because the human body and clothes have high flexibility in their shapes. In this paper, we develop a Virtual Try-on Generative Adversarial Network (VITON-GAN), that generates virtual try-on images using images of in-shop clothing and a model person. This method enhances the quality of the generated image when occlusion is present in a model person's image (e.g., arms crossed in front of the clothes) by adding an adversarial mechanism in the training pipeline.

研究动机与目标

• 解决模型身体部位（如手臂）被衣物遮挡时生成高质量虚拟试穿图像的挑战。
• 克服以往方法（如 CP-VTON）因依赖重建损失而在遮挡情况下产生模糊结果的局限性。
• 通过对抗训练提升虚拟试穿生成的视觉保真度与感知真实感。
• 通过从店内服装图像和模特快照生成准确、高分辨率的试穿图像，实现更真实的电商业务体验。

提出的方法

• 采用双模块架构：几何匹配模块（GMM）与试穿模块（TOM），源自 CP-VTON。
• 在 TOM 中引入对抗训练，通过添加一个判别器来区分真实与生成的试穿图像。
• 使用生成图像、店内服装图像以及人体表征（姿态与语义分割图）作为判别器的输入进行训练。
• 在 GMM 中使用生成图像与真实衣物层之间的 L1 损失，以保留身体上的结构细节。
• 采用随机水平翻转作为数据增强方法，以提升泛化能力。
• 端到端训练整个流程，利用对抗损失提升感知质量和真实感。

实验结果

研究问题

• RQ1 对抗训练是否能提升虚拟试穿图像的真实感与清晰度，特别是在遮挡区域？
• RQ2 对抗损失与基于重建的损失相比，在处理复杂人体-衣物交互时表现如何？
• RQ3 当身体部分被遮挡时，该模型在多大程度上能保留手部与手臂等精细细节？
• RQ4 当衣物发生拓扑变化（如长袖替换为半袖）时，模型的失败模式是什么？
• RQ5 与基线方法相比，对抗损失的引入是否能有效减少生成试穿图像的模糊性？

主要发现

• 与 CP-VTON 相比，VITON-GAN 在遮挡情况（如手臂交叉）下能更清晰、更逼真地生成手臂与手部。
• 该模型在大多数测试案例中保持了高图像质量，在非遮挡场景下生成结果与最先进方法相当。
• 尽管有所改进，该模型在复杂姿态或衣物过渡情况下仍偶尔生成模糊图像。
• 当 TPS 变换无法处理拓扑变化（如将半袖衬衫替换为长袖衬衫）时，模型会发生失败。
• 对抗损失有效提升了感知质量并减少了模糊性，尤其在部分遮挡区域表现更优。
• 该模型在大多数情况下对遮挡具有鲁棒性，但在处理衣物显著结构变化时仍存在挑战。