[论文解读] Recapture as You Want

Chen Gao, Si Liu+3 more|arXiv (Cornell University)|Jun 2, 2020

Generative Adversarial Networks and Image Synthesis参考文献 45被引用 7

一句话总结

本文提出了一种基于生成对抗网络（GAN）的人像重捕获方法，通过语义感知的几何与外观变换，使用户能够编辑人像以实现期望的姿态、体型和服装风格。该方法引入了两个新颖模块——语义感知注意力迁移（SAT）用于部件内特征对齐，以及布局图推理（LGR）用于部件间关系建模，以处理非刚性形变、推断不可见的身体部位并确保全局一致性，在DeepFashion、Market-1501和真实场景数据集上实现了最先进的身份保留与视觉真实感表现。

ABSTRACT

With the increasing prevalence and more powerful camera systems of mobile devices, people can conveniently take photos in their daily life, which naturally brings the demand for more intelligent photo post-processing techniques, especially on those portrait photos. In this paper, we present a portrait recapture method enabling users to easily edit their portrait to desired posture/view, body figure and clothing style, which are very challenging to achieve since it requires to simultaneously perform non-rigid deformation of human body, invisible body-parts reasoning and semantic-aware editing. We decompose the editing procedure into semantic-aware geometric and appearance transformation. In geometric transformation, a semantic layout map is generated that meets user demands to represent part-level spatial constraints and further guides the semantic-aware appearance transformation. In appearance transformation, we design two novel modules, Semantic-aware Attentive Transfer (SAT) and Layout Graph Reasoning (LGR), to conduct intra-part transfer and inter-part reasoning, respectively. SAT module produces each human part by paying attention to the semantically consistent regions in the source portrait. It effectively addresses the non-rigid deformation issue and well preserves the intrinsic structure/appearance with rich texture details. LGR module utilizes body skeleton knowledge to construct a layout graph that connects all relevant part features, where graph reasoning mechanism is used to propagate information among part nodes to mine their relations. In this way, LGR module infers invisible body parts and guarantees global coherence among all the parts. Extensive experiments on DeepFashion, Market-1501 and in-the-wild photos demonstrate the effectiveness and superiority of our approach. Video demo is at: \url{https://youtu.be/vTyq9HL6jgw}.

研究动机与目标

• 实现直观、用户驱动的人像编辑，以实现期望的姿态、体型和服装风格，而无需专业摄影编辑工具。
• 解决非刚性人体形变带来的挑战，同时保持固有外观与身份特征。
• 基于可见区域与语义布局，一致地推断不可见的身体部位（如下半身）。
• 在语义感知编辑过程中，确保所有身体部位之间的全局一致性。
• 开发一种对领域偏移具有鲁棒性的方法，使其能够有效应用于真实场景中的人像。

提出的方法

• 该方法将人像重捕获分解为语义感知的几何变换与外观变换，采用条件生成对抗网络（conditional GAN）框架。
• 生成语义布局图以编码用户指定的空间约束，指导几何与外观两个阶段的处理。
• 语义感知注意力迁移（SAT）模块通过关注源图像中语义一致的区域，实现部件内特征迁移，在非刚性形变下保持纹理与结构的一致性。
• 布局图推理（LGR）模块基于人体骨架知识构建图结构，连接各部件特征，通过图消息传递建模部件间关系，并推断不可见部位。
• 模型使用多尺度特征（在层 l=3,4,5 处），并采用最优配置（DeepFashion：l=3, r=6, n=2；Market-1501：l=4, r=6, n=2），以平衡细节与全局一致性。
• 对于真实场景中的人像，该方法先进行前景分割，再对人物应用重捕获模型，并使用现成的图像修复模型重建背景。

实验结果

研究问题

• RQ1 深度学习模型能否有效同时实现对人像照片的姿态、体型和服装风格的语义感知编辑？
• RQ2 如何在保持身份与细粒度纹理细节的前提下，对非刚性人体形变进行建模？
• RQ3 在有限可见区域的基础上，不可见身体部位能在多大程度上被准确且一致地推断？
• RQ4 在语义感知编辑过程中，如何保持所有人体部位之间的全局一致性？
• RQ5 该方法能否泛化到真实世界中无约束（in-the-wild）的人像图像？

主要发现

• SAT模块显著提升了外观结构的保持性与纹理细节的一致性，尤其在姿态和尺度大幅变化时表现更优。
• LGR模块有效推断出不可见的身体部位，并增强了全局一致性，例如确保鞋子颜色匹配以及可见与推断区域间肤色一致。
• 消融实验表明，SAT在中层特征（l=3）上表现最佳，LGR在高层特征（l=4）上表现最优，且 r=6 和 n=2 为最优超参数。
• 在DeepFashion与Market-1501数据集上，模型在FID与LPIPS指标上均取得优越的定量结果，展现出强大的图像质量与真实感。
• 在进行前景-背景分离与背景修复后，该方法在真实场景人像上表现出良好的泛化能力，生成结果真实且一致。
• 通过逐帧应用实现视频重捕获，结果稳定且视觉连贯，验证了模型在时间序列上的鲁棒性。