[论文解读] Phase Transitions in Image Denoising via Sparsely Coding Convolutional Neural Networks

Jacob Carroll, N. W. Carlson+1 more|arXiv (Cornell University)|Oct 26, 2017

Theoretical and Computational Physics参考文献 2被引用 4

一句话总结

该论文通过有限尺寸标度分析，在稀疏编码卷积神经网络进行图像去噪过程中识别出一种连续相变，展示了重建误差和稀疏性中的幂律行为。通过将网络调谐至临界稀疏度点，可在所有系统尺寸下实现最优去噪性能，从而通过临界性驱动设计实现最小重建误差。

ABSTRACT

Neural networks are analogous in many ways to spin glasses, systems which are known for their rich set of dynamics and equally complex phase diagrams. We apply well-known techniques in the study of spin glasses to a convolutional sparsely encoding neural network and observe power law finite-size scaling behavior in the sparsity and reconstruction error as the network denoises 32$ imes$32 RGB CIFAR-10 images. This finite-size scaling indicates the presence of a continuous phase transition at a critical value of this sparsity. By using the power law scaling relations inherent to finite-size scaling, we can determine the optimal value of sparsity for any network size by tuning the system to the critical point and operate the system at the minimum denoising error.

研究动机与目标

• 研究稀疏编码卷积神经网络在图像去噪过程中是否表现出相变。
• 确定重建误差和稀疏性中的有限尺寸标度行为是否表明存在连续（二级）相变。
• 识别出在不同网络尺寸下使去噪误差最小化的临界稀疏度点。
• 利用有限尺寸标度得出的临界指数，预测任意网络尺寸下的最优稀疏度。

提出的方法

• 使用PetaVision构建了一个稀疏编码卷积神经网络，通过局部竞争算法（LCA）在CIFAR-10图像上进行训练。
• 采用一个具有稀疏编码卷积层的去噪网络，用于重建被高斯噪声污染的32×32 RGB图像。
• 通过正则化参数λ调节激活神经元的稀疏度，从而控制隐藏层中激活神经元的比例。
• 在多个网络尺寸（系统尺寸L）下测量平均重建误差百分比（P_err）和激活神经元的比例。
• 应用有限尺寸标度分析，定位P_err的极小值，并对这些极小值的位置和高度拟合幂律关系。
• 对标度行为拟合临界指数ν̄ = 1.32 ± 0.04和γ̄ = 0.0099 ± 0.0095，证实了连续相变的存在。

实验结果

研究问题

• RQ1 稀疏编码卷积神经网络的重建误差是否随网络尺寸表现出有限尺寸标度？
• RQ2 是否存在一个临界稀疏度水平，使去噪误差达到最小值，从而指示相变？
• RQ3 误差极小值的位置和高度是否随系统尺寸表现出幂律标度，与连续相变一致？
• RQ4 能否利用从有限尺寸标度中得出的临界指数来预测任意网络尺寸下的最优稀疏度？

主要发现

• 在调节稀疏度时，稀疏编码卷积网络的去噪性能中发生连续（二级）相变。
• 最小重建误差随系统尺寸表现出幂律标度，满足有限尺寸标度定律（公式1和公式2）。
• 测得误差极小值位置的临界指数ν̄ = 1.32 ± 0.04，表明临界点随系统尺寸而移动。
• 测得误差极小值高度的临界指数γ̄ = 0.0099 ± 0.0095，证实临界点处具有类似奇点的行为。
• 幂律标度使得通过调谐至临界点，可预测任意网络尺寸下的最优稀疏度。
• 在临界稀疏度下运行网络，可确保在所有系统尺寸下实现最小去噪误差，从而实现通用优化。