[论文解读] Neural Network Generalization: The impact of camera parameters

Zhenyi Liu, Trisha Lian+2 more|arXiv (Cornell University)|Dec 8, 2019

Advanced Neural Network Applications参考文献 33被引用 4

一句话总结

本文研究了相机参数和图像处理对自动驾驶应用中卷积神经网络（CNN）泛化能力的影响。通过使用软原型工具（ISETAuto）模拟多光谱、光线追踪图像，并控制相机参数，作者发现像素尺寸和去马赛克处理对泛化能力有显著影响，尤其是在8位深度下；而原始10位传感器数据则能实现优异性能，表明当参数建模准确时，合成数据可有效泛化至真实相机数据。

ABSTRACT

We quantify the generalization of a convolutional neural network (CNN) trained to identify cars. First, we perform a series of experiments to train the network using one image dataset - either synthetic or from a camera - and then test on a different image dataset. We show that generalization between images obtained with different cameras is roughly the same as generalization between images from a camera and ray-traced multispectral synthetic images. Second, we use ISETAuto, a soft prototyping tool that creates ray-traced multispectral simulations of camera images, to simulate sensor images with a range of pixel sizes, color filters, acquisition and post-acquisition processing. These experiments reveal how variations in specific camera parameters and image processing operations impact CNN generalization. We find that (a) pixel size impacts generalization, (b) demosaicking substantially impacts performance and generalization for shallow (8-bit) bit-depths but not deeper ones (10-bit), and (c) the network performs well using raw (not demosaicked) sensor data for 10-bit pixels.

研究动机与目标

• 量化在合成图像或相机图像上训练的CNN在不同成像系统上的泛化能力。
• 评估ISETAuto生成的光线追踪合成数据在复现真实相机性能（用于车辆检测）方面的有效性。
• 识别对CNN泛化能力影响最显著的相机参数和图像处理步骤。
• 通过建立CNN对传感器和处理变化的性能极限与敏感度，指导相机与网络的协同设计。

提出的方法

• 从零开始在ISETAuto生成的合成图像数据集上训练基于MaskRCNN的检测网络，ISETAuto是一种基于物理的光线追踪工具。
• 在模拟中系统性地改变相机参数，如像素尺寸、彩色滤镜阵列和位深（8位与10位）。
• 应用包括曝光控制和去马赛克在内的图像处理操作，以模拟真实传感器处理流程。
• 通过在独立的真实世界数据集（KITTI、Cityscapes、BDD）上评估训练好的网络来测试泛化能力。
• 使用AP@0.5IOU作为主要指标，量化不同训练与测试数据组合下的检测性能。
• 使用核Inception距离（KID）分数测量数据集之间的泛化不对称性和相似性。

实验结果

研究问题

• RQ1 在合成图像和真实相机图像上训练的CNN，其泛化性能如何变化？
• RQ2 哪些特定相机参数（如像素尺寸或位深）对CNN泛化的影响最为显著？
• RQ3 去马赛克等图像处理步骤如何影响不同位深下的网络性能？
• RQ4 ISETAuto生成的光线追踪合成数据在多大程度上能复现真实相机数据的泛化行为？
• RQ5 是否可以通过参数可控的合成数据，实现自动驾驶中相机与神经网络的有效协同设计？

主要发现

• 真实相机数据集之间以及合成数据与真实相机数据之间的泛化能力受限程度相似，表明当参数准确建模时，合成数据可作为有效的代理。
• 像素尺寸对CNN泛化有可测量的影响，像素越小，性能越差，这是由于噪声增加和信噪比降低所致。
• 在8位深度下，去马赛克显著降低泛化性能，但在10位深度下影响微乎其微，表明更高位深可缓解插值伪影。
• 对于10位传感器，原始（未去马赛克）传感器数据可实现优异的泛化性能，表明在高动态范围应用中，原始数据可能更具优势。
• 在ISETAuto生成的合成数据中使用36,885个物体进行训练，在Cityscapes上实现了62.5%的AP@0.5IOU，接近真实数据的表现水平（例如，KITTI上为66%）。
• KID距离度量显示，ISETAuto生成的图像与BDD和Cityscapes最相似，与SYNTHIA最不相似，这与观察到的泛化模式一致。