[论文解读] Translating Diffusion, Wavelets, and Regularisation into Residual Networks

Tobias Alt, Joachim Weickert+1 more|arXiv (Cornell University)|Feb 7, 2020

Neural Networks and Applications被引用 6

一句话总结

本文建立了一个理论框架，将经典去噪方法——非线性扩散、小波收缩和变分正则化——通过将其离散数值格式解释为特定的残差网络（ResNet）模块，转化为残差网络架构。其核心贡献是建立了一个字典，将扩散系数、收缩函数和正则化项映射为激活函数，从而实现任意深度的内在稳定ResNet，包括非单调和反对称激活函数，从而在偏微分方程（PDE）、小波和深度学习领域之间建立桥梁，并提供可证明的稳定性保证。

ABSTRACT

Convolutional neural networks (CNNs) often perform well, but their stability is poorly understood. To address this problem, we consider the simple prototypical problem of signal denoising, where classical approaches such as nonlinear diffusion, wavelet-based methods and regularisation offer provable stability guarantees. To transfer such guarantees to CNNs, we interpret numerical approximations of these classical methods as a specific residual network (ResNet) architecture. This leads to a dictionary which allows to translate diffusivities, shrinkage functions, and regularisers into activation functions, and enables a direct communication between the four research communities. On the CNN side, it does not only inspire new families of nonmonotone activation functions, but also introduces intrinsically stable architectures for an arbitrary number of layers.

研究动机与目标

• 建立经典信号去噪方法与残差神经网络之间严格的数学联系。
• 通过将成熟方法中已知的可证明稳定性保证迁移至现代卷积神经网络（CNN），解决其理论稳定性理解不足的问题。
• 通过创建一个统一的字典，将扩散系数、收缩函数和正则化项映射为激活函数，促进跨领域交流。
• 通过证明非单调和反对称激活函数的可行性，挑战传统CNN设计原则。
• 通过基于原理的设计而非经验调参，启发新型紧凑且稳定的CNN架构。

提出的方法

• 将Perona–Malik扩散、Haar小波收缩和一阶变分模型的离散数值近似重新表述为具有固定卷积核的特定残差网络模块。
• 这些ResNet模块中的激活函数直接来源于扩散滤波器的通量函数、小波的收缩函数以及正则化项的次梯度。
• 该框架使用统一的数学公式，将三类经典去噪方法——非线性扩散、基于小波的收缩和变分正则化——转化为等效的ResNet组件。
• 由于继承了原始去噪算法的稳定性特性，该方法可确保任意堆叠层数下的内在稳定性。
• 通过证明其在离散设置下数学上是良态的，该方法使非单调和反对称激活函数成为可能。
• 该方法避免学习卷积权重，转而基于成熟的数学模型设计激活函数。

实验结果

研究问题

• RQ1 能否系统地将诸如非线性扩散、小波收缩和变分正则化等经典去噪方法转化为残差网络架构？
• RQ2 从这些方法中导出的非单调和反对称激活函数是否能在深层网络中保持稳定性？
• RQ3 基于PDE和变分方法的离散形式能否被解释为具有可证明稳定性的ResNet模块？
• RQ4 在历史中被忽视的非单调激活函数在深度学习中的理论依据是什么？
• RQ5 如何通过共同的数学语言在神经网络设计中统一偏微分方程（PDE）、小波、变分方法和深度学习四个研究领域？

主要发现

• Perona–Malik扩散、Haar小波收缩和一阶变分模型的离散格式均可表示为具有固定卷积核和推导出的激活函数的特定ResNet模块。
• 由这些模块构成的ResNets继承了原始去噪方法的稳定性，确保了任意层数下的适定性和鲁棒性。
• 非单调激活函数（如从garrote收缩和硬阈值化导出的）在离散ResNet框架中数学上有效且稳定，挑战了深度学习中单调性的主导地位。
• 反对称激活函数自然从该框架中浮现，为现代CNN中此前未充分探索的架构可能性开辟了新路径。
• 该框架提供了一个字典，使来自PDE、小波和变分方法领域的研究人员能够直接将其方法转化为神经网络组件。
• 该方法表明，当正确离散化时，非凸正则化项和非单调通量函数并不会损害稳定性，为网络架构设计开辟了新途径。