[论文解读] Why does Deep Learning work? - A perspective from Group Theory

Arnab Paul, Suresh Venkatasubramanian|arXiv (Cornell University)|Dec 20, 2014

Generative Adversarial Networks and Image Synthesis参考文献 13被引用 13

一句话总结

本文提出了一种群论框架，用以解释深度学习为何有效，表明自编码器中的预训练对应于寻找具有最小群轨道的特征——由于稳定子子群较小，更简单的特征会首先被学习到。该理论将分层表征学习解释为在各层间反复应用轨道-稳定子优化。

ABSTRACT

Why does Deep Learning work? What representations does it capture? How do higher-order representations emerge? We study these questions from the perspective of group theory, thereby opening a new approach towards a theory of Deep learning. One factor behind the recent resurgence of the subject is a key algorithmic step called pre-training: first search for a good generative model for the input samples, and repeat the process one layer at a time. We show deeper implications of this simple principle, by establishing a connection with the interplay of orbits and stabilizers of group actions. Although the neural networks themselves may not form groups, we show the existence of {\em shadow} groups whose elements serve as close approximations. Over the shadow groups, the pre-training step, originally introduced as a mechanism to better initialize a network, becomes equivalent to a search for features with minimal orbits. Intuitively, these features are in a way the {\em simplest}. Which explains why a deep learning network learns simple features first. Next, we show how the same principle, when repeated in the deeper layers, can capture higher order representations, and why representation complexity increases as the layers get deeper.

研究动机与目标

• 使用群论为深度学习建立理论基础，尤其关注表征学习与特征层次结构。
• 通过将群作用与稳定子子群联系起来，解释无监督预训练为何能有效促进深度网络训练。
• 形式化说明深层网络如何通过迭代应用轨道-稳定子原理，逐步捕捉越来越复杂的表征。
• 在神经网络操作与同胚映射之间建立数学联系，表明学习到的变换近似于群元素。
• 证明特征的简单性与小群轨道相关，从而解释了经验观察中简单特征在训练初期即出现的现象。

提出的方法

• 将自编码器建模为作用于输入信号的变换，将学习到的权重矩阵视为近似群元素的算子。
• 引入“影子群”概念——由神经网络权重矩阵构成的近似群，其作用方式模仿在信号空间上的群作用。
• 应用轨道-稳定子定理：轨道越小，稳定子越大，稳定子越大（结构越简单）的特征越早被学习到。
• 使用信号空间上的同胚映射来建模网络变换，证明每个学习到的变换在局部可由 GL(S) 中的线性算子近似。
• 定义从群元素 g 到网络操作 τ_f 的提升映射 U(g)，表明内在空间上的群作用对应于网络层函数。
• 证明提升映射的单射性：若两个群元素在所有图形上诱导出相同的网络行为，则它们必须相等，从而确保群结构的忠实表示。

实验结果

研究问题

• RQ1 为何深度神经网络在预训练过程中会先学习简单特征而非复杂特征？
• RQ2 自编码器中的分层预训练过程如何与群论原理相关联？
• RQ3 深层网络中分层表征出现的数学机制是什么？
• RQ4 能否将神经网络权重矩阵解释为作用于信号空间的群元素的近似？
• RQ5 群作用中的稳定子与轨道如何对应于深度学习中学习到的特征及其复杂度？

主要发现

• 自编码器中的预训练对应于寻找具有最小轨道的特征，这些特征在数学上与较大的稳定子子群相关联。
• 更简单的特征（如线段）在群作用下具有更小的轨道，因此在训练初期更可能被发现。
• 该理论解释了为何深层网络会逐步学习到越来越复杂的表征：每一层都对高层特征递归地应用相同的轨道-稳定子原理。
• 神经网络变换可建模为信号空间上的同胚映射，其局部行为近似于 GL(S) 中的线性算子，从而保证可微性与可逆性。
• 从群元素到网络操作的提升映射 U(g) 是单射的，证明了不同的群作用会产生不同的网络行为。
• 该框架不仅适用于 Sigmoid 激活函数，也适用于其他阈值函数（如 ReLU），相应地，内在信号空间与模空间会发生变化。