[论文解读] Wavelet Integrated CNNs for Noise-Robust Image Classification

Qiufu Li, Linlin Shen+2 more|arXiv (Cornell University)|May 7, 2020

Image and Signal Denoising Methods参考文献 40被引用 11

一句话总结

本文提出 WaveCNets，一种将小波变换集成到 CNN 的架构，用离散小波变换（DWT）替代传统的下采样操作（如最大池化、步幅卷积），以提升对噪声的鲁棒性与准确性。通过将特征图分解为低频分量（保留结构）和高频分量（含噪声），并在推理时丢弃后者，WaveCNets 有效保持了物体完整性，在 ImageNet 与含噪的 ImageNet-C 基准测试中均优于原始模型。

ABSTRACT

Convolutional Neural Networks (CNNs) are generally prone to noise interruptions, i.e., small image noise can cause drastic changes in the output. To suppress the noise effect to the final predication, we enhance CNNs by replacing max-pooling, strided-convolution, and average-pooling with Discrete Wavelet Transform (DWT). We present general DWT and Inverse DWT (IDWT) layers applicable to various wavelets like Haar, Daubechies, and Cohen, etc., and design wavelet integrated CNNs (WaveCNets) using these layers for image classification. In WaveCNets, feature maps are decomposed into the low-frequency and high-frequency components during the down-sampling. The low-frequency component stores main information including the basic object structures, which is transmitted into the subsequent layers to extract robust high-level features. The high-frequency components, containing most of the data noise, are dropped during inference to improve the noise-robustness of the WaveCNets. Our experimental results on ImageNet and ImageNet-C (the noisy version of ImageNet) show that WaveCNets, the wavelet integrated versions of VGG, ResNets, and DenseNet, achieve higher accuracy and better noise-robustness than their vanilla versions.

研究动机与目标

• 解决 CNN 对输入小噪声敏感的问题，此类噪声可显著改变预测结果。
• 在不损害特征提取能力的前提下，提升深度网络的噪声鲁棒性。
• 设计一种通用的 DWT/IDWT 层，支持多种小波类型，适用于端到端训练。
• 将基于小波的下采样机制整合到主流 CNN 架构（如 VGG、ResNet、DenseNet）中。
• 在干净与含噪条件下，对图像分类与语义分割任务进行方法评估。

提出的方法

• 用离散小波变换（DWT）替代最大池化与步幅卷积实现下采样，将特征图分解为低频分量（ll）与高频分量（lh、hl、hh）。
• 在 PyTorch 中设计一种通用的 DWT/IDWT 层，支持多种小波类型（如 Haar、Daubechies、Coiflet），便于灵活集成到深度网络中。
• 在推理阶段丢弃高频分量，以抑制噪声，同时保留低频分量以实现鲁棒的特征学习。
• 将 DWT/IDWT 层集成到现有网络架构（如 VGG、ResNet、DenseNet）中，构建 WaveCNets，保持端到端可微性。
• 在语义分割任务的解码路径中使用逆向离散小波变换（IDWT），以恢复高频细节，提升分辨率重建能力。
• 在 ImageNet 与 ImageNet-C 上训练并评估 WaveCNets，并将该框架扩展至 SegNet，构建 WaveUNets 用于语义分割。

实验结果

研究问题

• RQ1 用 DWT 替代传统下采样是否能提升 CNN 的噪声鲁棒性？
• RQ2 在推理阶段仅保留低频分量是否能提升含噪条件下的分类准确率？
• RQ3 通用的 DWT/IDWT 层能否有效集成到多种 CNN 架构中以实现端到端训练？
• RQ4 与最大池化相比，基于小波的下采样在特征保留与噪声抑制方面表现如何？
• RQ5 DWT/IDWT 框架是否能提升图像到图像翻译任务（如语义分割）的性能？

主要发现

• 基于 VGG、ResNet 与 DenseNet 的 WaveCNets 在 ImageNet 上实现了更高的 Top-1 准确率（如 WResNet34 达到 74.35%），优于其原始版本。
• 在含噪的 ImageNet-C 基准测试中，WaveCNets 展现出显著更强的噪声鲁棒性，WResNet34 的平均类别误差（mCE）为 72.73%，优于标准 ResNet。
• WaveUNets 中使用 Haar 小波在 CamVid 数据集上实现了最高的 mIoU（64.23%），超过标准 SegNet（60.10%）。
• WaveUNets 能够成功恢复细粒度的物体细节（如树枝、电线杆），即使在修正标注噪声方面也优于 SegNet。
• DWT/IDWT 层不仅适用于分类任务，也适用于分割任务，证明其在编码-解码网络中的通用性。
• WResNet18_C（连接高频分量）的性能劣于 WResNet18 与 WResNet34，表明高频分量的传播会引入噪声，进一步证实丢弃高频分量的有效性。