[论文解读] Operational vs Convolutional Neural Networks for Image Denoising

Junaid Malik, Serkan Kıranyaz+1 more|arXiv (Cornell University)|Sep 1, 2020

Image and Signal Denoising Methods参考文献 22被引用 6

一句话总结

本文提出操作神经网络（ONNs），一种异构神经网络架构，用接收场级别的自适应非线性算子替代标准卷积层，从而实现更优的图像去噪效果。通过受海勃学习启发的数据驱动突触可塑性监测（SPM）策略，ONNs 在性能上显著优于同等规模的CNN——训练步数减少约80%，且在泛化能力方面优于当前最先进深度CNN，尤其在高噪声和数据有限条件下表现更优。

ABSTRACT

Convolutional Neural Networks (CNNs) have recently become a favored technique for image denoising due to its adaptive learning ability, especially with a deep configuration. However, their efficacy is inherently limited owing to their homogenous network formation with the unique use of linear convolution. In this study, we propose a heterogeneous network model which allows greater flexibility for embedding additional non-linearity at the core of the data transformation. To this end, we propose the idea of an operational neuron or Operational Neural Networks (ONN), which enables a flexible non-linear and heterogeneous configuration employing both inter and intra-layer neuronal diversity. Furthermore, we propose a robust operator search strategy inspired by the Hebbian theory, called the Synaptic Plasticity Monitoring (SPM) which can make data-driven choices for non-linearities in any architecture. An extensive set of comparative evaluations of ONNs and CNNs over two severe image denoising problems yield conclusive evidence that ONNs enriched by non-linear operators can achieve a superior denoising performance against CNNs with both equivalent and well-known deep configurations.

研究动机与目标

• 解决CNN中同质线性卷积层在图像去噪任务中的局限性，特别是其在高噪声环境下泛化能力差和性能饱和的问题。
• 通过在单个感受野层级引入灵活的非线性变换，克服对固定非线性激活函数的依赖。
• 开发一种与架构无关、基于数据的策略，用于选择针对特定噪声类型的最优非线性算子，减少人工超参数调优。
• 证明异构非线性神经元配置（ONNs）可在远少参数和训练步数下，实现优于深层同质CNN的去噪性能。

提出的方法

• 提出操作神经网络（ONNs），其中每个神经元对感受野应用可学习的非线性算子（如中值、对数、均值）而非固定线性卷积。
• 基于赫布学习原理设计突触可塑性监测（SPM）机制，自动识别并选择针对特定噪声类型的最有效非线性算子。
• 将SPM实现为一种快速、鲁棒且与架构无关的搜索策略，通过在训练过程中动态监控突触权重变化来评估算子有效性。
• 在相同严苛约束（数据有限、噪声水平高）下训练ONNs和等效CNN，以公平比较其泛化能力和收敛速度。
• 使用PSNR作为主要指标，评估ONNs在斑点噪声和脉冲噪声数据集上的去噪性能。
• 在多个噪声水平和图像集上，将ONNs与等效浅层CNN及最先进深度CNN（来自[27]）进行对比。

实验结果

研究问题

• RQ1 在训练数据有限的条件下，具有接收场层级非线性算子的异构神经网络架构是否能优于标准CNN在图像去噪任务中的表现？
• RQ2 基于数据驱动、受赫布启发的算子搜索策略（SPM）是否能有效识别特定噪声的非线性变换，而无需人工调优？
• RQ3 在高噪声场景下，ONNs相较于等效CNN和深度CNN，在减少训练步数和提升泛化能力方面达到何种程度？
• RQ4 当以每可训练参数的性能为衡量标准时，ONNs的表达能力相对于CNN如何变化？
• RQ5 即使在极小数据量下进行训练，ONNs是否能在相同噪声模型的未见图像上实现优于CNN的泛化能力？

主要发现

• 在斑点噪声和脉冲噪声任务中，ONNs相较于等效CNN的平均PSNR提升达2.52%至13.33%，其中脉冲噪声的增益最高（13.33%）。
• 尽管参数量仅约9,000，远低于[27]中深度CNN的500,000以上，ONNs在M=1和M=5的斑点噪声任务中分别优于该最先进深度CNN 4.35%和13.36%的PSNR。
• ONNs达到相同PSNR水平所需的训练步数约为等效CNN的20%，表明收敛速度显著更快。
• 深度CNN在模型加深和复杂化后性能仅提升1.36倍，表明性能已趋于饱和；而ONNs由于层间与层内异质性，未出现此类饱和现象，且性能扩展更优。
• SPM成功识别出问题特定的非线性算子：脉冲噪声下为中值滤波，斑点噪声下为对数运算，验证了其数据驱动与自适应特性。
• ONNs表现出强抗过拟合能力，在所有设置下均获得更高的测试PSNR，证实其能从极小数据中学习丰富且可泛化的表征。