[论文解读] Raw Bayer Pattern Image Synthesis for Computer Vision-oriented Image Signal Processing Pipeline Design

Wei Zhou, Xiangyu Zhang+3 more|arXiv (Cornell University)|Oct 25, 2021

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出一种基于生成对抗网络（GAN）的方法，通过利用可逆变换（特别是去马赛克过程），从彩色图像合成高质量、任意尺寸的RAW拜耳图案图像，从而提升训练稳定性和生成性能。该方法支持端到端计算机视觉流水线直接使用RAW图像，实现与真实RAW数据训练的模型近乎相同的检测准确率，从而支持图像信号处理（ISP）联合设计与传感器内计算。

ABSTRACT

In this paper, we propose a method to add constraints that are un-formulatable in generative adversarial networks (GAN)-based arbitrary size RAW Bayer image generation. It is shown theoretically that by using the transformed data in GAN training, it is able to improve the learning of the original data distribution, owing to the invariant of Jensen-Shannon (JS) divergence between two distributions under invertible and differentiable transformation. Benefiting from the proposed method, RAW Bayer pattern images can be generated by configuring the transformation as demosaicing. It is shown that by adding another transformation, the proposed method is able to synthesize high-quality RAW Bayer images with arbitrary size. Experimental results show that images generated by the proposed method outperform the existing methods in the Fréchet inception distance (FID) score, peak signal to noise ratio (PSNR), and mean structural similarity (MSSIM), and the training process is more stable. To the best knowledge of the authors, there is no open-source, large-scale image dataset in the RAW Bayer domain, which is crucial for research works aiming to explore the image signal processing (ISP) pipeline design for computer vision tasks. Converting the existing commonly used color image datasets to their corresponding RAW Bayer versions, the proposed method can be a promising solution to the RAW image dataset problem. We also show in the experiments that, by training object detection frameworks using the synthesized RAW Bayer images, they can be used in an end-to-end manner (from RAW images to vision tasks) with negligible performance degradation.

研究动机与目标

• 解决计算机视觉与ISP流水线研究中缺乏大规模、开源的RAW拜耳图像数据集的问题。
• 实现视觉模型在RAW拜耳图像上的端到端训练，绕过标准ISP流水线。
• 开发一种稳定且高保真的图像合成方法，以保留真实RAW图像的统计与结构特性。
• 探索利用合成RAW图像优化面向特定视觉任务的ISP流水线的可行性。
• 通过直接在视觉算法中使用RAW传感器数据，支持传感器内计算，降低计算开销。

提出的方法

• 该方法利用可逆且可微分的变换——特别是去马赛克——将RAW拜耳图像映射到一个变换空间，使GAN训练更加稳定和高效。
• 利用Jensen–Shannon（JS）散度在可逆变换下保持不变的特性，提升生成器对原始数据分布的学习能力。
• 生成器在变换后的数据（去马赛克图像）上进行训练，随后通过逆变换重建出高质量的RAW拜耳图像。
• 网络架构集成了专门设计的模块，以保留拜耳图案的空间与色彩结构，提升图像保真度。
• 通过适当配置变换流水线，该方法支持任意图像尺寸的合成。
• 该方法支持可逆数据生成，可将现有彩色图像数据集转换为对应的RAW拜耳版本。

实验结果

研究问题

• RQ1 可逆变换是否能提升GAN在RAW拜耳图像合成中的训练稳定性和性能？
• RQ2 合成的RAW拜耳图像在下游计算机视觉任务中是否能达到与真实RAW图像相当的性能？
• RQ3 合成的RAW图像在多大程度上可支持无需ISP处理的端到端视觉流水线？
• RQ4 与现有基于GAN的方法相比，该方法在FID、PSNR和MSSIM指标上的表现如何？
• RQ5 该方法能否从标准彩色图像数据集中生成高质量、任意尺寸的RAW拜耳图像？

主要发现

• 在相同训练条件下，所提方法在FID、PSNR和MSSIM指标上均优于现有方法。
• 在相同数据集上，基于合成RAW拜耳图像训练的物体检测模型，其平均精度（AP）得分分别为：Faster R-CNN为69.19，SSD300为63.33，Yolo-v3为70.86，与在真实RAW数据上训练的模型性能极为接近。
• 在真实RAW拜耳图像上评估时，基于合成数据训练的模型表现出可忽略的性能下降，AP得分分别为：Faster R-CNN为68.81，SSD300为63.21，Yolo-v3为70.82。
• 使用合成RAW数据时，检测失败率显著降低——例如，对小尺寸或暗色物体的漏检率相比在彩色图像上训练的模型明显减少。
• 该方法实现了直接在RAW拜耳图像上进行端到端物体检测，避免了ISP流水线引入的性能退化。
• 训练过程比基线GAN更加稳定，表现为指标持续提升且训练发散现象减少。