[论文解读] Wavelet based edge feature enhancement for convolutional neural networks

D. D. N. De Silva, Subha Fernando+2 more|arXiv (Cornell University)|Aug 29, 2018

Image and Signal Denoising Methods参考文献 32被引用 5

一句话总结

本文提出两种基于小波的预处理方法，以增强输入图像中的边缘特征，从而提升卷积神经网络（CNN）的性能。第一种方法仅使用细节小波系数重建图像，第二种方法通过小波系数的局部模极大值检测边缘。两种方法均显著提高了分类准确率，其中模极大值方法在使用AlexNet的CIFAR-10数据集上达到89.63%的准确率，优于基线模型和先前工作。

ABSTRACT

Convolutional neural networks are able to perform a hierarchical learning process starting with local features. However, a limited attention is paid to enhancing such elementary level features like edges. We propose and evaluate two wavelet-based edge feature enhancement methods to preprocess the input images to convolutional neural networks. The first method develops feature enhanced representations by decomposing the input images using wavelet transform and limited reconstructing subsequently. The second method develops such feature enhanced inputs to the network using local modulus maxima of wavelet coefficients. For each method, we have developed a new preprocessing layer by implementing each purposed method and have appended to the network architecture. Our empirical evaluations demonstrate that the proposed methods are outperforming the baselines and previously published work with significant accuracy gains.

研究动机与目标

• 通过在特征学习之前增强输入图像中的低级边缘特征，提升CNN性能。
• 解决现有CNN架构中对边缘特征增强关注有限的问题，尽管边缘特征在分层特征学习中具有重要意义。
• 开发并评估两种新颖的小波基预处理技术，以在数据输入网络前丰富边缘表征。
• 通过实证验证，边缘增强的输入可显著提升多个基准数据集上的分类准确率。

提出的方法

• 第一种方法对输入图像进行离散小波变换（DWT），舍弃最粗略的近似系数，并仅使用细节系数重建图像。
• 第二种方法计算小波系数的模值，并通过识别局部极大值来检测边缘，从而形成优化的边缘增强表征。
• 两种方法均作为专用预处理层集成在主CNN架构之前，保持端到端训练能力。
• 两种方法均采用Haar小波作为基础小波变换，因其计算效率高且适用于边缘检测。
• 模极大值方法基于Mallat的多尺度边缘检测理论，该理论将小波模极大值与基于梯度的边缘定位相关联。
• 所提出的预处理层被集成到AlexNet等标准CNN中，并在MNIST、SVHN和CIFAR-10数据集上进行评估。

实验结果

研究问题

• RQ1 基于小波的预处理能否以提升CNN分类准确率的方式增强边缘特征？
• RQ2 在标准图像分类基准上，不同基于小波的边缘增强策略在性能增益方面如何比较？
• RQ3 使用小波系数的模极大值是否能提供优于简单系数重建的边缘表征？
• RQ4 边缘增强的输入在多大程度上可减少对更深或更复杂网络架构的需求？
• RQ5 基于小波的预处理能否在不修改网络架构的前提下有效集成到标准CNN流程中？

主要发现

• 模极大值边缘增强方法在使用AlexNet的CIFAR-10数据集上达到89.63%的测试准确率，超过基线AlexNet（87%）和批量归一化变体（89%）。
• 朴素边缘增强方法在CIFAR-10上达到89.47%的准确率，表明其相对于基线的持续改进。
• 在MNIST数据集上，模极大值方法达到99.3%的准确率，优于先前的小波网络方法（94.2%），并接近最佳先前结果（99.21%）。
• 在SVHN数据集上，模极大值方法将准确率提升至94.43%，较基线AlexNet（93.24%）提高1.19个百分点。
• 模极大值方法在所有数据集上均持续优于朴素重建方法，表明其具有更丰富的边缘表征能力。
• 结果证实，在输入层面增强边缘特征可显著改善CNN中的分层特征学习过程。