[论文解读] On Classification of Distorted Images with Deep Convolutional Neural Networks

Yiren Zhou, Sibo Song+1 more|arXiv (Cornell University)|Jan 8, 2017

Image Processing Techniques and Applications参考文献 13被引用 6

一句话总结

本文研究了图像失真（模糊和噪声）对深度卷积神经网络（DCNN）分类器的影响，并提出微调作为提高鲁棒性的实用方法。通过在失真图像上微调预训练DCNN的前几层，模型在干净和失真输入上均保持高准确率，相较于微调在效率和泛化能力方面表现更优，尤其在数据有限时优势明显。

ABSTRACT

Image blur and image noise are common distortions during image acquisition. In this paper, we systematically study the effect of image distortions on the deep neural network (DNN) image classifiers. First, we examine the DNN classifier performance under four types of distortions. Second, we propose two approaches to alleviate the effect of image distortion: re-training and fine-tuning with noisy images. Our results suggest that, under certain conditions, fine-tuning with noisy images can alleviate much effect due to distorted inputs, and is more practical than re-training.

研究动机与目标

• 系统评估图像失真（运动模糊、散焦模糊、高斯噪声及其组合）对深度神经网络分类器的影响。
• 探究在失真图像上进行微调或重新训练是否能提升分类准确率。
• 确定微调与完整重新训练在鲁棒图像分类中的实际可行性和有效性。
• 分析特征图梯度方差作为边缘和纹理信息损失的代理指标。

提出的方法

• 本研究使用预训练的DCNN（LeNet-5、CIFAR10-quick和AlexNet），在MNIST、CIFAR-10和ImageNet数据集上评估受控失真下的性能。
• 通过在干净图像上施加不同水平的运动模糊、散焦模糊和高斯噪声生成失真图像。
• 微调通过仅更新前几层卷积层而冻结其余网络参数，使用失真训练数据进行。
• 重新训练涉及在失真数据上重新训练整个网络，作为对比基线。
• 使用Sobel滤波器计算每张特征图的梯度幅值方差，以量化因失真导致的边缘和纹理信息损失。
• 将特征图间梯度幅值的平均方差用作评估失真下表征质量的指标。

实验结果

研究问题

• RQ1 不同类型的图像失真（运动模糊、散焦模糊、高斯噪声及其组合）如何影响深度卷积神经网络的分类准确率？
• RQ2 在失真图像上微调预训练DCNN的前几层，是否能相比原始模型提升失真输入上的分类性能？
• RQ3 在训练数据有限的情况下，微调与完整重新训练在准确率、收敛速度和鲁棒性方面有何差异？
• RQ4 模型在分类失真图像时，保留边缘和纹理信息的程度如何（通过梯度方差衡量）？

主要发现

• 在失真ImageNet数据上对预训练AlexNet模型的前三个层进行微调，将失真图像上的top-1错误率从53.1%降低至47.7%，同时在干净图像上保持原始的42.9%错误率。
• 使用原始预训练模型时，失真图像上的特征图梯度幅值方差显著降低，表明边缘和纹理信息损失。
• 在失真图像上微调后，平均梯度方差保持在接近干净图像的水平，表明特征表示得到改善。
• 在失真数据上重新训练的模型产生的梯度方差高于原始模型，表明重训练模型适应了失真分布，但未必适应干净数据的表征。
• 当失真数据集较小时，微调比重新训练更高效且更不易过拟合，因此在实际应用中更具可行性。
• 在低至中等失真水平下，微调在显著更短的计算时间内实现了与重新训练相当或更优的性能。