[论文解读] Towards Photo-Realistic Virtual Try-On by Adaptively Generating$\leftrightarrow$Preserving Image Content

Han Yang, Ruimao Zhang+4 more|arXiv (Cornell University)|Mar 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 49被引用 4

一句话总结

本文提出了一种自适应内容生成与保持网络（Adaptive Content Generating and Preserving Network, ACGPN），这是一种新颖的基于图像的虚拟试穿框架，能够根据预测的语义布局自适应地生成或保留图像内容。通过集成语义布局生成模块、带有二阶差异约束的形变模块以及内容融合模块，ACGPN在VITON数据集上实现了最先进（SOTA）的逼真图像结果，尤其在具有复杂遮挡和姿态变化的困难案例中表现优异，在感知质量和细节保留方面优于先前方法。

ABSTRACT

Image visual try-on aims at transferring a target clothing image onto a reference person, and has become a hot topic in recent years. Prior arts usually focus on preserving the character of a clothing image (e.g. texture, logo, embroidery) when warping it to arbitrary human pose. However, it remains a big challenge to generate photo-realistic try-on images when large occlusions and human poses are presented in the reference person. To address this issue, we propose a novel visual try-on network, namely Adaptive Content Generating and Preserving Network (ACGPN). In particular, ACGPN first predicts semantic layout of the reference image that will be changed after try-on (e.g. long sleeve shirt$ ightarrow$arm, arm$ ightarrow$jacket), and then determines whether its image content needs to be generated or preserved according to the predicted semantic layout, leading to photo-realistic try-on and rich clothing details. ACGPN generally involves three major modules. First, a semantic layout generation module utilizes semantic segmentation of the reference image to progressively predict the desired semantic layout after try-on. Second, a clothes warping module warps clothing images according to the generated semantic layout, where a second-order difference constraint is introduced to stabilize the warping process during training. Third, an inpainting module for content fusion integrates all information (e.g. reference image, semantic layout, warped clothes) to adaptively produce each semantic part of human body. In comparison to the state-of-the-art methods, ACGPN can generate photo-realistic images with much better perceptual quality and richer fine-details.

研究动机与目标

• 为解决在大范围遮挡和复杂人体姿态下生成逼真虚拟试穿图像的挑战。
• 在图像合成过程中提升衣物细节（如纹理、标志）和人体身份（姿势、身体部位）的保留能力。
• 基于预测的语义布局实现自适应内容生成或保留，而非采用固定形变策略。
• 有效处理涉及语义区域交叠和空间形变的困难试穿案例。

提出的方法

• 语义生成模块（Semantic Generation Module, SGM）通过语义分割逐步预测暴露的身体部位掩码和形变后的衣物区域掩码，将该过程与原始衣物形状解耦。
• 衣物形变模块（Clothes Warping Module, CWM）根据预测的布局对目标衣物图像进行形变，引入二阶差异约束以稳定训练并保留复杂纹理。
• 内容融合模块（Content Fusion Module, CFM）自适应地整合参考图像、形变后的衣物和合成的身体部位，以确定每个语义区域的内容生成或保留策略。
• 该框架采用分治-转换-合并策略，生成具有空间配置感知能力的高保真试穿图像。
• 模型在VITON数据集上端到端训练，损失函数包括布局预测损失、形变损失和图像重建损失。
• 消融研究验证了非目标身体部位组合以及形变损失中二阶差异约束的必要性。

实验结果

研究问题

• RQ1 虚拟试穿模型如何在复杂姿态和遮挡条件下有效保留衣物细节（如纹理、标志、刺绣）？
• RQ2 语义布局预测在多大程度上能提升虚拟试穿中内容生成与保留的准确性？
• RQ3 二阶差异约束在稳定纹理衣物形变过程中起到什么作用？
• RQ4 基于预测布局的自适应内容生成在困难试穿案例中为何优于固定形变或端到端合成方法？

主要发现

• 在VITON数据集上，ACGPN在用户研究中获得了89.8%的平均用户偏好得分，显著优于CP-VTON（10.2%）和VITON（23.4%）。
• 在高难度案例中，ACGPN的用户偏好得分为96.0%，表明其在处理复杂遮挡和姿态变化方面具有卓越性能。
• 消融研究证实，非目标身体部位组合可提升视觉质量，减少身体部位的形变与模糊。
• 二阶差异约束显著提升了具有复杂纹理衣物的形变质量，减少了失真并提高了纹理保真度。
• 即使在无形变约束的情况下，ACGPN仍表现良好，这得益于准确的布局预测，但该约束对复杂纹理衣物至关重要。
• 视觉对比显示，ACGPN生成的图像更清晰、更逼真，细节准确且空间一致性良好，尤其在高遮挡区域表现突出。