[论文解读] SRGAN: Training Dataset Matters

Nao Takano, Gita Alaghband|arXiv (Cornell University)|Mar 24, 2019

Advanced Image Processing Techniques参考文献 21被引用 15

一句话总结

本文研究了训练数据集选择对SRGAN在超分辨率任务中性能的决定性影响。通过在多样化数据集上进行训练，模型能够学习到准确重建物体的形状、颜色和纹理，而不仅仅是锐化边缘，从而在使用领域相关数据训练时，相比任意图像，实现了更优的结果——FID分数的提升验证了这一点。

ABSTRACT

Generative Adversarial Networks (GANs) in supervised settings can generate photo-realistic corresponding output from low-definition input (SRGAN). Using the architecture presented in the SRGAN original paper [2], we explore how selecting a dataset affects the outcome by using three different datasets to see that SRGAN fundamentally learns objects, with their shape, color, and texture, and redraws them in the output rather than merely attempting to sharpen edges. This is further underscored with our demonstration that once the network learns the images of the dataset, it can generate a photo-like image with even a slight hint of what it might look like for the original from a very blurry edged sketch. Given a set of inference images, the network trained with the same dataset results in a better outcome over the one trained with arbitrary set of images, and we report its significance numerically with Frechet Inception Distance score [22].

研究动机与目标

• 研究训练数据集构成对SRGAN生成照片级真实感图像能力的影响。
• 确定SRGAN是从训练数据中学习结构和语义内容，还是仅增强图像锐度。
• 使用FID等定量指标评估数据集相关性对重建质量的影响。
• 证明即使在训练数据相关的情况下，SRGAN也能从非常模糊的草图中生成逼真输出。

提出的方法

• 使用三个不同的数据集训练SRGAN，以比较泛化能力和重建质量。
• 采用原始SRGAN架构，确保实验中模型行为的一致性。
• 使用Frechet Inception Distance（FID）作为图像生成质量的标准度量指标来评估性能。
• 对模糊草图进行推理，以测试模型生成合理照片级真实感输出的能力。
• 比较在领域特定数据集与任意图像集合上训练的模型结果。
• 分析定性和定量输出，以评估模型是否学习了物体语义，还是仅实现边缘增强。

实验结果

研究问题

• RQ1 训练数据集的选择如何影响SRGAN生成图像的逼真度和保真度？
• RQ2 SRGAN是否学习重建物体形状、颜色和纹理，还是主要增强边缘？
• RQ3 在训练数据相关的情况下，SRGAN能否从极少的输入线索（如模糊草图）生成照片级真实感输出？
• RQ4 与随机图像集合相比，使用领域特定数据训练SRGAN是否能在图像质量上带来可测量的提升？
• RQ5 数据集相关性在多大程度上与超分辨率任务中更低的FID分数相关？

主要发现

• 在领域相关数据集上训练的模型生成的图像明显更逼真、更精细，优于在任意图像集合上训练的模型。
• SRGAN学习到重建物体形状、颜色和纹理，而非仅锐化边缘，这一点从其能从模糊草图中生成图像得到证实。
• 使用相关训练数据集时，FID分数显著改善，表明图像质量在量化上更具优势。
• 即使输入线索极少（如非常模糊的草图），在经过一致数据集训练后，模型仍能生成合理且照片级真实的输出。
• 模型对未见输入的泛化能力强烈依赖于训练数据的多样性和相关性。
• 结果证实，数据集选择是实现SRGAN高质量超分辨率结果的关键因素。