[论文解读] Transportation analysis of denoising autoencoders: a novel method for analyzing deep neural networks

Sho Sonoda, Noboru Murata|arXiv (Cornell University)|Dec 12, 2017

Generative Adversarial Networks and Image Synthesis参考文献 9被引用 5

一句话总结

该论文提出了一种运输动力学框架，通过将特征图解释为公共高维空间中的质量传输映射，来分析去噪自编码器（DAE）。研究表明，无限深度的DAE遵循Wasserstein梯度流演化，通过将数据分布输运至低熵状态来最小化熵，揭示了深度神经网络的通用几何解释。

ABSTRACT

The feature map obtained from the denoising autoencoder (DAE) is investigated by determining transportation dynamics of the DAE, which is a cornerstone for deep learning. Despite the rapid development in its application, deep neural networks remain analytically unexplained, because the feature maps are nested and parameters are not faithful. In this paper, we address the problem of the formulation of nested complex of parameters by regarding the feature map as a transport map. Even when a feature map has different dimensions between input and output, we can regard it as a transportation map by considering that both the input and output spaces are embedded in a common high-dimensional space. In addition, the trajectory is a geometric object and thus, is independent of parameterization. In this manner, transportation can be regarded as a universal character of deep neural networks. By determining and analyzing the transportation dynamics, we can understand the behavior of a deep neural network. In this paper, we investigate a fundamental case of deep neural networks: the DAE. We derive the transport map of the DAE, and reveal that the infinitely deep DAE transports mass to decrease a certain quantity, such as entropy, of the data distribution. These results though analytically simple, shed light on the correspondence between deep neural networks and the Wasserstein gradient flows.

研究动机与目标

• 为解决由于嵌套参数化和非忠实参数化带来的深度神经网络分析不可解问题。
• 通过将输入和输出空间嵌入到一个共同的高维空间中，克服特征图输入与输出维度不同的挑战。
• 利用质量传输建立深度神经网络的几何、参数化无关的解释。
• 通过最优传输和梯度流的视角揭示去噪自编码器的内在动力学。
• 证明DAE通过Wasserstein梯度流实现熵最小化，为表征学习提供新颖的分析框架。

提出的方法

• 将深度神经网络解释为向量值传输映射 $\bm{g}: \mathbb{R}^m \to \mathbb{R}^n$，将特征图视为从输入空间到输出空间的质量传输。
• 将输入空间和输出空间嵌入到一个共同的高维空间中，即使维度不同，也能保持一致的传输解释。
• 将去噪自编码器建模为时间依赖的传输映射 $\bm{g}_t$，其中噪声方差 $t$ 作为传输时间。
• 推导出DAE为 $\bm{g}_t(\widetilde{\bm{x}}) = \widetilde{\bm{x}} - \mathbb{E}_t[\bm{\varepsilon} | \widetilde{\bm{x}}]$，将去噪项解释为位移向量。
• 通过前推测度 $\mu_t = \bm{g}_{t\sharp}\mu_0$ 分析数据分布 $\mu_t$ 的演化，表明其遵循Wasserstein梯度流。
• 使用变分法推导最优 $\bm{g}^*$，证明其最小化重建误差，并对应于干净输入的条件期望。

实验结果

研究问题

• RQ1 尽管输入和输出维度不同，如何将深度神经网络解释为质量传输映射？
• RQ2 当将去噪自编码器视为时变传输映射时，其行为背后的动力系统是什么？
• RQ3 DAE中的传输过程是否对应于最优传输理论中的已知几何流？
• RQ4 DAE的优化目标能否被解释为通过Wasserstein梯度流最小化如熵之类的泛函？
• RQ5 噪声方差 $t$ 在DAE的传输动力学中起什么作用，它与时间演化有何关系？

主要发现

• 最优去噪自编码器 $\bm{g}^*$ 由 $\bm{g}^*(\bm{x}) = \bm{x} - \mathbb{E}_t[\bm{\varepsilon} | \bm{x}]$ 给出，即给定被污染输入时，干净输入的条件期望。
• DAE的传输映射 $\bm{g}_t$ 通过前推将数据分布 $\mu_0$ 输运至 $\mu_t$，且该演化过程遵循关于势能泛函 $\mathcal{F}$ 的Wasserstein梯度流。
• 数据分布 $\mu_t$ 演化以最小化Shannon-Boltzmann熵，表明DAE通过传输实现熵减少。
• 传输动力学与参数化无关，使得轨迹成为几何不变量，揭示了网络的内在行为。
• 在 $t=0$ 处的无穷小生成元为 $\nabla V(\bm{x},0)$，且连续性方程 $\partial_t \mu = -\nabla \cdot (\mu \nabla V)$ 成立，证实了Wasserstein梯度流结构。
• 该框架可推广至其他架构（如ResNet），其中 $\bm{x} \mapsto \bm{x} + \bm{g}(\bm{x})$ 的结构同样暗示了传输动力学。