[论文解读] Text2Human: Text-Driven Controllable Human Image Generation

Yuming Jiang, Shuai Yang+4 more|arXiv (Cornell University)|May 31, 2022

Generative Adversarial Networks and Image Synthesis被引用 15

一句话总结

Text2Human 提出了一种两阶段、以文本为驱动的框架，用于可控且高保真的人像生成，首先将服装形状的文本描述转化为语义分割图，然后利用分层的、纹理感知的 VQ-VAE 与基于扩散的 Transformer 采样器及专家混合模型合成详细纹理。该方法在多样性与真实感方面达到最先进水平，尤其在细粒度纹理生成方面表现优异，索引预测的推理速度仅为 0.6 秒，远快于先前方法的 25 分钟。

ABSTRACT

Generating high-quality and diverse human images is an important yet challenging task in vision and graphics. However, existing generative models often fall short under the high diversity of clothing shapes and textures. Furthermore, the generation process is even desired to be intuitively controllable for layman users. In this work, we present a text-driven controllable framework, Text2Human, for a high-quality and diverse human generation. We synthesize full-body human images starting from a given human pose with two dedicated steps. 1) With some texts describing the shapes of clothes, the given human pose is first translated to a human parsing map. 2) The final human image is then generated by providing the system with more attributes about the textures of clothes. Specifically, to model the diversity of clothing textures, we build a hierarchical texture-aware codebook that stores multi-scale neural representations for each type of texture. The codebook at the coarse level includes the structural representations of textures, while the codebook at the fine level focuses on the details of textures. To make use of the learned hierarchical codebook to synthesize desired images, a diffusion-based transformer sampler with mixture of experts is firstly employed to sample indices from the coarsest level of the codebook, which then is used to predict the indices of the codebook at finer levels. The predicted indices at different levels are translated to human images by the decoder learned accompanied with hierarchical codebooks. The use of mixture-of-experts allows for the generated image conditioned on the fine-grained text input. The prediction for finer level indices refines the quality of clothing textures. Extensive quantitative and qualitative evaluations demonstrate that our proposed framework can generate more diverse and realistic human images compared to state-of-the-art methods.

研究动机与目标

• 为解决在显式控制服装形状与纹理的前提下生成多样化、高保真人像的挑战。
• 为非专业用户提供直观的基于文本的控制方式，以生成全身人像。
• 克服现有模型在生成复杂服装图案方面能力不足且缺乏细粒度纹理控制的局限。
• 开发一种可扩展的分层码本系统，以捕捉服装的多尺度结构与细节纹理表征。
• 通过前馈索引预测网络加速推理并提升基于分层 VQ-VAE 的图像生成中的纹理质量。

提出的方法

• 该框架采用两阶段流程：首先从姿态图和服装形状的文本描述生成人体语义分割图，然后结合文本引导的纹理细节合成最终图像。
• 提出一种具有纹理感知码本的分层 VQ-VAE，其中粗粒度码本捕捉结构化纹理特征，细粒度码本建模细节纹理。
• 采用基于扩散的 Transformer 采样器与专家混合模型，以细粒度文本输入为条件，实现多样化且可控的输出。
• 提出一种前馈索引预测网络，从粗粒度索引预测细粒度码本索引，将推理时间从 25 分钟缩短至 0.6 秒。
• 解码器与分层码本联合训练，以从采样码本索引重建高质量人像。
• 系统利用一个新构建的大规模数据集 DeepFashion-MultiModal，包含对服装形状与纹理的细粒度标注。

实验结果

研究问题

• RQ1 基于文本的框架能否生成在服装形状与纹理方面具有显式控制的多样化且逼真的人像？
• RQ2 分层码本如何有效建模复杂服装图案的多尺度纹理表征？
• RQ3 前馈索引预测网络是否能显著加速基于分层 VQ-VAE 的图像生成推理，同时不损失质量？
• RQ4 专家混合采样器在文本条件图像合成中在多大程度上提升了可控性与多样性？
• RQ5 该框架在罕见姿态或低资源纹理（如格子图案）下表现如何？

主要发现

• 所提出的前馈索引预测网络将推理时间从 25 分钟缩短至 0.6 秒，同时提升了纹理重建质量。
• LPIPS 与 ArcFace 指标表明，使用本方法重建的图像比 VQVAE2 更接近真实图像，证实了更优的重建性能。
• 定性结果表明，与当前最先进方法相比，Text2Human 生成的服装纹理更具真实感与多样性，包括网状、格子等复杂图案。
• 该框架在实现高保真图像生成与细粒度控制方面优于现有模型，尤其在复杂服装形状与纹理方面表现突出。
• 失败案例多出现在非典型姿态或罕见纹理（如格子）下，表明受限于数据不平衡与模型泛化能力。
• 模型对多样化文本提示具有鲁棒性，但因离散词嵌入的限制，对非标准袖长描述仍存在局限。