[论文解读] WHY DOES UNSUPERVISED DEEP LEARNING WORK? - A PERSPECTIVE FROM GROUP THEORY

Arnab Paul, Suresh Venkatasubramanian|arXiv (Cornell University)|Jan 1, 2015

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 3

一句话总结

本文提出了一种群论框架，用以解释无监督深度学习为何有效，表明深度网络中的预训练对应于寻找群轨道最小的特征——直观上即最简单的特征——从而解释为何深度网络会先学习简单表征。通过在各层重复此过程，利用近似神经网络行为的影子群结构，捕捉到越来越复杂、更高阶的表征。

ABSTRACT

Why does Deep Learning work? What representations does it capture? How do higher-order representations emerge? We study these questions from the perspective of group theory, thereby opening a new approach towards a theory of Deep learning. One factor behind the recent resurgence of the subject is a key algorithmic step called pretraining: first search for a good generative model for the input samples, and repeat the process one layer at a time. We show deeper implications of this simple principle, by establishing a connection with the interplay of orbits and stabilizers of group actions. Although the neural networks themselves may not form groups, we show the existence of shadow groups whose elements serve as close approximations. Over the shadow groups, the pretraining step, originally introduced as a mechanism to better initialize a network, becomes equivalent to a search for features with minimal orbits. Intuitively, these features are in a way the simplest. Which explains why a deep learning network learns simple features first. Next, we show how the same principle, when repeated in the deeper layers, can capture higher order representations, and why representation complexity increases as the layers get deeper.

研究动机与目标

• 理解无监督深度学习为何能成功学习有意义的表征。
• 解释深度网络中分层的、越来越复杂的表征如何涌现。
• 为预训练作为特征发现机制提供理论基础。
• 建立群作用（轨道与稳定子）与深度神经网络学习动态之间的联系。

提出的方法

• 引入‘影子群’的概念——近似群结构，用以镜像深度神经网络层的行为。
• 将预训练过程建模为寻找群轨道最小的特征，这些特征对应于最简单、最具不变性的表征。
• 利用轨道与稳定子之间的相互作用，形式化表征在各层中如何被选择与逐步优化。
• 证明在各层中重复应用预训练步骤，可通过轨道结构的分层最小化，产生越来越复杂的表征。
• 证明尽管神经网络本身不构成群，但其学习动态可通过影子群近似为群论原则。

实验结果

研究问题

• RQ1 为何深度神经网络会先学习简单特征，而后才学习复杂特征？
• RQ2 无监督深度学习中的预训练过程与群论结构有何关联？
• RQ3 群作用的轨道与稳定子在分层表征涌现过程中扮演何种角色？
• RQ4 如何通过轨道大小的重复最小化来解释深层网络的学习过程？

主要发现

• 深度网络中的预训练对应于寻找群轨道最小的特征，这些特征是最简单且最具不变性的表征。
• ‘影子群’的概念通过群论原则为神经网络行为提供了理论近似，即使网络本身并非群。
• 在各层中重复应用预训练步骤，可通过轨道结构的分层优化，导致更高阶表征的涌现。
• 轨道最小的特征被优先学习，因为其在变换下最稳定且最具不变性，从而解释了深度学习中观察到的归纳偏差。