[论文解读] Understanding Convolutional Neural Networks

Jayanth Koushik|arXiv (Cornell University)|May 30, 2016

Neural Networks and Applications参考文献 9被引用 93

一句话总结

本文通过将卷积神经网络（CNNs）的操作与小波变换和散射理论联系起来，提供了一个数学框架来理解CNNs。研究表明，CNNs通过基于小波的散射变换隐式学习分层、平移不变且对微分同胚具有鲁棒性的特征，为它们在视觉任务中的成功提供了理论依据。

ABSTRACT

Convoulutional Neural Networks (CNNs) exhibit extraordinary performance on a variety of machine learning tasks. However, their mathematical properties and behavior are quite poorly understood. There is some work, in the form of a framework, for analyzing the operations that they perform. The goal of this project is to present key results from this theory, and provide intuition for why CNNs work.

研究动机与目标

• 为理解CNNs为何在视觉任务中表现卓越提供理论基础。
• 使用小波变换和散射理论形式化CNNs中特征层次结构的作用。
• 分析CNNs对局部对称性（如平移和微分同胚）的不变性。
• 证明基于小波的散射变换（一种简化的CNN变体）通过固定的小波滤波器实现稳定性和不变性。
• 为将该理论扩展到具有自适应滤波器的一般可学习CNN架构奠定基础。

提出的方法

• 使用小波变换在多个尺度上分解信号，实现多尺度特征分析。
• 引入散射变换作为CNN的简化版本，采用固定滤波器，通过级联小波卷积与ReLU非线性激活实现。
• 应用最终的平均滤波器（φ_J）以实现局部平移不变性。
• 定义微分同胚范数以量化小形变，并证明散射变换在该类变换下的利普希茨连续性。
• 通过理论界建立散射变换对小形变的稳定性以及对平移的局部不变性。
• 通过将固定小波替换为可学习滤波器并调整对称群结构，将该框架推广至一般CNNs。

实验结果

研究问题

• RQ1 CNNs如何实现对局部对称性（如平移和小形变）的不变性？
• RQ2 CNNs中分层特征学习的数学机制是什么？
• RQ3 一种简化的、固定滤波器的CNN变体（即散射变换）能否为稳定性和不变性提供理论保证？
• RQ4 小波变换如何在CNNs中实现对不同尺度上变化的分离？
• RQ5 在什么条件下可确保CNN特征表示在小形变（微分同胚）下保持稳定？

主要发现

• 散射变换关于微分同胚是利普希茨连续的，其界为 ∥S_J[g.x] - S_J[x]∥ ≤ Cm|g|∥x∥，证明了在小形变下的稳定性。
• 由于与φ_J进行最终平均，散射变换在尺度2^J上对平移具有局部不变性。
• 基于小波的特征变换可分离不同尺度上的变化，从而实现对分层学习至关重要的多尺度分析。
• 散射变换在MNIST数据集上实现了最先进性能，证明了固定小波基特征学习的有效性。
• 该框架表明，CNNs通过在分层结构中组合卷积层与非线性激活，隐式学习局部对称性的不变量。
• 一般CNNs通过将固定小波替换为可学习滤波器，扩展了散射框架，实现了自适应特征学习，同时保持了理论上的稳定性特性。