[论文解读] Toward Accurate and Realistic Virtual Try-on Through Shape Matching and Multiple Warps

Kedan Li, Min Jin Chong+2 more|arXiv (Cornell University)|Mar 22, 2020

3D Shape Modeling and Analysis参考文献 52被引用 8

一句话总结

该论文提出了一种虚拟试穿框架，通过在学习的嵌入空间中进行形状感知的产品-模特配对以及多种协调变形，提升了真实感与准确性。通过选择最优目标模特并利用基于U-Net的图像修复网络融合多种专用变形，该方法在保留衣物细节、纹理和形状方面达到了最先进水平，其有效性通过定量指标和用户研究得到验证，结果显示61.5%的合成图像被误判为真实图像。

ABSTRACT

A virtual try-on method takes a product image and an image of a model and produces an image of the model wearing the product. Most methods essentially compute warps from the product image to the model image and combine using image generation methods. However, obtaining a realistic image is challenging because the kinematics of garments is complex and because outline, texture, and shading cues in the image reveal errors to human viewers. The garment must have appropriate drapes; texture must be warped to be consistent with the shape of a draped garment; small details (buttons, collars, lapels, pockets, etc.) must be placed appropriately on the garment, and so on. Evaluation is particularly difficult and is usually qualitative. This paper uses quantitative evaluation on a challenging, novel dataset to demonstrate that (a) for any warping method, one can choose target models automatically to improve results, and (b) learning multiple coordinated specialized warpers offers further improvements on results. Target models are chosen by a learned embedding procedure that predicts a representation of the products the model is wearing. This prediction is used to match products to models. Specialized warpers are trained by a method that encourages a second warper to perform well in locations where the first works poorly. The warps are then combined using a U-Net. Qualitative evaluation confirms that these improvements are wholesale over outline, texture shading, and garment details.

研究动机与目标

• 为解决真实感虚拟试穿的挑战，现有方法在复杂垂坠情况下难以保留纽扣、领口和纹理等精细细节。
• 克服单一切变方法在处理未扣扣的或多部件衣物时的局限性，避免特征错位。
• 通过引入大规模、多样化的数据集和定量指标，改进评估方式，摆脱仅依赖定性评估的局限。
• 减少对手动配对的依赖，通过学习的形状嵌入自动选择与给定产品形状匹配的最优模特图像。
• 通过训练多个专用变形网络协同工作，纠正单个变形中的错误，提升图像生成质量。

提出的方法

• 一个空间注意力视觉编码器解析模特图像中的不同衣物类别（上装、下装、外穿），并将其嵌入共享形状空间，以预测该产品在该模特身上的外观。
• 学习的嵌入空间可实现目标模特的自动选择，使其与产品形状匹配，从而提升变形质量并减少视觉伪影。
• 多个专用变形网络与基于U-Net的图像修复网络联合训练，每个变形网络专注于先前变形网络表现较差的区域。
• 图像修复网络融合多个变形输出和掩码后的模特图像，学习选择并优化变形结果，同时保留肢体和衣物细节。
• 该框架使用带有跳跃连接的U-Net，结合多个变形输入，生成高保真度的虚拟试穿结果，同时受变形损失和生成损失的共同引导。
• 收集了一个包含422,756对产品-模特的新型数据集，用于支持大规模定量评估。

实验结果

研究问题

• RQ1 是否可以通过学习的形状嵌入自动选择目标模特，显著提升虚拟试穿质量？
• RQ2 训练多个协同工作的变形网络（每个专注于不同区域）是否能比单一切变方法带来更好的对齐效果和细节保留？
• RQ3 在复杂垂坠场景下，该方法在保留纽扣、口袋和标签等细粒度衣物细节方面能达到何种程度？
• RQ4 生成的图像在多大程度上能欺骗人类观察者，使其难以区分真实图像与合成图像？
• RQ5 该方法能否在多种衣物类型上实现泛化，包括未扣扣的外穿衣物和纹理复杂的衣物？

主要发现

• 在VITON数据集上，使用形状嵌入选择目标模特在所有评估流程中均带来显著的定量提升，FID和LPIPS指标持续改善。
• 与单一切变基线相比，使用多个协调变形（k=2）显著减少了纽扣、领口和口袋的错位现象，如图7的定性对比所示。
• 在用户研究中，该方法实现了61.5%的误报率，即研究人员将61.5%的合成图像错误识别为真实图像，表明其具有极高的真实感。
• 用户研究显示，70%的一般人群将部分合成图像误认为真实图像，证明其具有出色的感知质量。
• 该方法在保留纹理、阴影和边界细节方面优于先前工作，尤其在未扣扣大衣和纹理外穿衣物等复杂衣物上表现更优。
• 边界处的颜色伪影仅在分割掩码不完美时出现，证实该方法对准确的姿态图具有强依赖性，以实现高质量结果。