[论文解读] Splicing ViT Features for Semantic Appearance Transfer

Narek Tumanyan, Omer Bar-Tal+2 more|arXiv (Cornell University)|Jan 2, 2022

Face recognition and analysis被引用 7

一句话总结

本文提出 Splice，一种新颖的语义外观迁移方法，通过仅使用一对图像，将目标图像的视觉外观拼接至源图像的结构上，生成高分辨率图像。该方法利用预训练的 DINO-ViT 模型作为外部语义先验，通过 [CLS] token 提取外观信息，通过深层特征中的自注意力键相似性提取结构信息，实现无需对抗训练、无需分割的高精度生成，同时保持强布局保真度。

ABSTRACT

We present a method for semantically transferring the visual appearance of one natural image to another. Specifically, our goal is to generate an image in which objects in a source structure image are "painted" with the visual appearance of their semantically related objects in a target appearance image. Our method works by training a generator given only a single structure/appearance image pair as input. To integrate semantic information into our framework - a pivotal component in tackling this task - our key idea is to leverage a pre-trained and fixed Vision Transformer (ViT) model which serves as an external semantic prior. Specifically, we derive novel representations of structure and appearance extracted from deep ViT features, untwisting them from the learned self-attention modules. We then establish an objective function that splices the desired structure and appearance representations, interweaving them together in the space of ViT features. Our framework, which we term "Splice", does not involve adversarial training, nor does it require any additional input information such as semantic segmentation or correspondences, and can generate high-resolution results, e.g., work in HD. We demonstrate high quality results on a variety of in-the-wild image pairs, under significant variations in the number of objects, their pose and appearance.

研究动机与目标

• 在无需用户引导、分割或对应关系的情况下，实现两幅自然图像之间的语义外观迁移。
• 解决在对象姿态、形状和外观存在显著差异时的视觉外观迁移挑战。
• 开发一种在迁移目标图像视觉外观的同时，保持源图像结构布局的方法，且迁移过程具有语义意义。
• 证明利用预训练视觉 Transformer（DINO-ViT）作为生成图像合成的外部语义先验的有效性。
• 仅使用一对图像实现高分辨率（HD）生成，避免对大规模成对数据集的依赖。

提出的方法

• 该方法使用预训练且固定的 DINO-ViT 模型，提取深层特征作为外部语义先验。
• 外观由最终 ViT 层的 [CLS] token 表示，捕捉全局视觉与语义内容。
• 结构通过同一 ViT 层中键（keys）的自相似性进行建模，编码空间关系与物体布局。
• 通过多分量损失函数在 ViT 特征空间中拼接所需的结构与外观表征来训练生成器。
• 损失函数包括外观损失（匹配 [CLS] token）、结构损失（匹配键的自相似性）以及保持细节的恒等损失。
• 该框架避免对抗训练，且无需分割图、对应关系或除一对图像外的其他数据。

Figure 2: Pipeline. Our generator $G_{\theta}$ takes an input structure image $I_{s}$ and outputs $I_{o}$ . We establish our training losses using a pre-trained and fixed DINO-ViT model, which serves as an external semantic prior: we represent structure via the self-similarity of keys in the deepest

实验结果

研究问题

• RQ1 预训练的视觉 Transformer 是否可在无额外监督的情况下，作为语义外观迁移的有效外部语义先验？
• RQ2 如何在视觉 Transformer 的特征空间中解耦并重新组合结构与外观，以实现高保真图像生成？
• RQ3 是否可仅使用一对图像且无需对抗训练，实现高分辨率（HD）图像生成？
• RQ4 ViT 特征在跨多样化物体类别与姿态进行外观迁移时，能在多大程度上保持语义布局？
• RQ5 在分布偏移情况下（如非真实或分布外图像），该方法表现如何？

主要发现

• Splice 在感知评估中优于基于 GAN、风格迁移与语义感知方法，在 Wild-Pairs 上获得 83.1% 的偏好率，语义布局保留的 IoU 达 95%。
• 在山脉数据集上，该方法实现 0.95±0.10 的平均 IoU，优于 SA 与 STROTSS，接近 WCT 2 的高布局保真度。
• 消融研究显示，若移除外观损失则外观迁移失败；若移除结构损失则导致显著结构失真。
• 恒等损失可提升细粒度细节保留能力，如牛油果与梨子的纹理，即使无显式监督亦可实现。
• 当 DINO-ViT 的表征无法捕捉语义关联时（如将猫或鸟的环映射至飞机），方法会失效。
• 特征反演分析表明，[CLS] token 编码了丰富的外观与物体部件信息，而 ViT 特征可实现具有语义粒度的高分辨率图像重建。

Figure 3: Inverting the [CLS] token across layers. Each input image (a) is fed to DINO-ViT to compute its global [CLS] token at different layers. (b) Inversion results: starting from a noise image, we optimize for an image that would match the original [CLS] token at a specific layer. While earlier