[论文解读] Pixel VQ-VAEs for Improved Pixel Art Representation

Akash Saravanan, Matthew Guzdial|arXiv (Cornell University)|Mar 23, 2022

Aesthetic Perception and Analysis被引用 5

一句话总结

本文提出 Pixel VQ-VAE，一种结合 PixelSight 和 Adapter 增强的专用 VQ-VAE 模型，以提升像素艺术的离散、像素级表征。该模型在嵌入质量及图像生成、调色板替换等下游任务中优于基线模型，成功保留了像素艺术特有的块状、高对比度风格，而传统模型因模糊和像素级建模能力差而失效。

ABSTRACT

Machine learning has had a great deal of success in image processing. However, the focus of this work has largely been on realistic images, ignoring more niche art styles such as pixel art. Additionally, many traditional machine learning models that focus on groups of pixels do not work well with pixel art, where individual pixels are important. We propose the Pixel VQ-VAE, a specialized VQ-VAE model that learns representations of pixel art. We show that it outperforms other models in both the quality of embeddings as well as performance on downstream tasks.

研究动机与目标

• 为解决像素艺术这一艺术风格在机器学习表征方面的不足，像素艺术的特点是离散的手工绘制像素与有限的调色板。
• 克服标准 CNN 和 VAE 在建模单个像素时的局限性，后者常导致模糊重建，不适用于像素艺术。
• 开发一个统一的、高质量的嵌入空间，用于像素艺术，该空间可复用于多种下游任务，如生成与转换。
• 通过引入针对该风格离散、块状特性的架构专用模块，提升 VQ-VAE 在像素艺术上的性能。

提出的方法

• 提出 Pixel VQ-VAE，利用向量量化（VQ）将像素组映射到离散码本向量，以保留像素级语义。
• 引入 PixelSight 模块，一种卷积模块，旨在增强局部像素级注意力，改善对离散像素块的建模。
• 集成 Adapter 层，以微调特征表示而无需重新训练整个网络，从而实现对像素艺术分布的更好适应。
• 在精心筛选的像素艺术数据集上端到端训练模型，使用 VQ-VAE 目标函数，并引入承诺损失以稳定码本学习。
• 利用学习到的码本嵌入执行下游任务，如通过 PixelCNN 进行图像生成和调色板替换，同时保持结构与风格的保真度。
• 采用 FID 和定性评估方法，与 VAE、GAN 和标准 VQ-VAE 基线模型对比重建质量与风格保留效果。

实验结果

研究问题

• RQ1 VQ-VAE 能否被有效适配以学习高质量、离散的像素艺术表征，从而保留单个像素的语义？
• RQ2 与标准架构相比，PixelSight 和 Adapter 增强如何提升 VQ-VAE 在像素艺术上的性能？
• RQ3 Pixel VQ-VAE 生成的图像是否能保留像素艺术特有的视觉风格，避免标准 VAE 中常见的模糊问题？
• RQ4 学习到的嵌入能否在无需任务特定微调的情况下泛化至多种下游任务，如图像生成与调色板替换？

主要发现

• 与 VAE 和 DCGAN 基线相比，Pixel VQ-VAE 在 FID 指标上表现更优，其高分辨率变体甚至在重建质量上超越 GAN。
• Pixel VQ-VAE 生成的图像保持了像素艺术特有的离散、块状像素结构，而标准 VAE 和 GAN 的输出则呈现模糊。
• 该模型在无需任务特定训练的情况下成功实现调色板替换，生成结果与人工绘制的色彩变化高度相似。
• Pixel VQ-VAE 在高变化性像素艺术数据集上表现出色，表明其对结构多样性的鲁棒性。
• 引入 PixelSight 和 Adapter 层显著提升了性能，尤其在低分辨率和中等分辨率设置下，标准模型难以保持风格。
• 该模型学习到的嵌入空间可有效迁移至下游任务，表明共享表征在多种像素艺术应用中具有可行性。