[论文解读] WaveSNet: Wavelet Integrated Deep Networks for Image Segmentation

Qiufu Li, Linlin Shen|arXiv (Cornell University)|May 29, 2020

Advanced Neural Network Applications参考文献 16被引用 8

一句话总结

WaveSNet 通过引入可微分的离散小波变换（DWT）和逆DWT（IDWT）层，在语义图像分割的深度网络中实现了下采样和上采样过程中的图像细节保留与恢复。通过在U-Net、SegNet和DeepLabv3+中用DWT/IDWT替代标准池化和反池化操作，WaveSNet在CamVid、Pascal VOC和Cityscapes数据集上实现了最先进性能，尤其在细粒度和结构相似物体的分割上表现显著提升。

ABSTRACT

In deep networks, the lost data details significantly degrade the performances of image segmentation. In this paper, we propose to apply Discrete Wavelet Transform (DWT) to extract the data details during feature map down-sampling, and adopt Inverse DWT (IDWT) with the extracted details during the up-sampling to recover the details. We firstly transform DWT/IDWT as general network layers, which are applicable to 1D/2D/3D data and various wavelets like Haar, Cohen, and Daubechies, etc. Then, we design wavelet integrated deep networks for image segmentation (WaveSNets) based on various architectures, including U-Net, SegNet, and DeepLabv3+. Due to the effectiveness of the DWT/IDWT in processing data details, experimental results on CamVid, Pascal VOC, and Cityscapes show that our WaveSNets achieve better segmentation performances than their vanilla versions.

研究动机与目标

• 解决深度网络中因下采样导致的数据细节丢失所引发的图像分割性能下降问题。
• 开发一种通用的、可微分的 DWT/IDWT 层，适用于一维、二维和三维数据，以及多种小波（如 Haar、Daubechies、Cohen）。
• 设计端到端的小波集成网络（WaveSNets），在推理过程中显式处理数据细节。
• 通过细节感知的特征学习，提升对细粒度和结构相似物体的分割精度。

提出的方法

• 将 DWT 和 IDWT 重新表述为与标准深度学习框架兼容的可学习、可微分层。
• 在下采样路径中用 DWT 替代最大池化操作，以保留高频细节。
• 在上采样操作中用 IDWT 替代上采样层，以恢复原始空间分辨率并保留细节。
• 将 DWT/IDWT 层应用于多种网络架构：U-Net、SegNet 和 DeepLabv3+。
• 使用多种小波（Haar、Cohen、Daubechies）评估其在不同信号表示下的鲁棒性与性能表现。
• 采用标准优化方法，在语义分割基准数据集上按照标准训练协议进行端到端训练。

实验结果

研究问题

• RQ1 DWT 和 IDWT 是否能够有效集成到深度网络中作为可学习层，以在下采样和上采样过程中保留图像细节？
• RQ2 用 DWT/IDWT 替代标准池化和反池化操作，是否能提升在标准基准上的语义分割性能？
• RQ3 小波选择（如 Haar、Daubechies、Cohen）对分割精度和细节恢复有何影响？
• RQ4 与基线架构相比，WaveSNet 是否能在细粒度和相似物体上实现更优性能？

主要发现

• 在 Pascal VOC 验证集上，使用 'ch5.5' 小波的 WaveSNet 达到 79.90% 的 mIoU，比基线 DeepLabv3+ 提升 1.22%。
• 在 Cityscapes 数据集上，WaveSNet 达到 70.63% 的 mIoU，超越基线 Vanilla DeepLabv3+，展现出强大的泛化能力。
• 对于细粒度物体如 'chair'、'table' 和 'plant'，WaveSNet 相较于基线模型有显著提升，mIoU 最高提升达 5.5%。
• 在结构相似物体如 'cow'、'horse' 和 'sheep' 上，WaveSNet 通过更好地保留结构细节，减少了误分类现象。
• 可视化对比显示，WDeepLabv3+ 能够正确分割细小区域（如角、腿），并有效避免将相似动物相互误分类。
• 该方法仅增加少量参数（0.88M），同时在多个数据集上实现了稳定一致的性能提升。