[论文解读] On approximating $ abla f$ with neural networks

Saeed Saremi|arXiv (Cornell University)|Oct 28, 2019

Model Reduction and Neural Networks参考文献 13被引用 8

一句话总结

本文证明，对于光滑函数 $f$，深度前馈神经网络 ($ \psi$) 在隐藏层超过一层时，除非所有输入和输出权重均平行，否则无法近似 $ abla f$，这严重限制了其表达能力。作为替代方案，本文提出通过 $ \phi$ 实现隐式参数化，使得 $ abla\phi \approx \nabla f$，从而避免对称性约束，并实现深度网络的通用近似。

ABSTRACT

Consider a feedforward neural network $ψ: \mathbb{R}^d ightarrow \mathbb{R}^d$ such that $ψ\approx abla f$, where $f:\mathbb{R}^d ightarrow \mathbb{R}$ is a smooth function, therefore $ψ$ must satisfy $\partial_j ψ_i = \partial_i ψ_j$ pointwise. We prove a theorem that a $ψ$ network with more than one hidden layer can only represent one feature in its first hidden layer; this is a dramatic departure from the well-known results for one hidden layer. The proof of the theorem is straightforward, where two backward paths and a weight-tying matrix play the key roles. We then present the alternative, the implicit parametrization, where the neural network is $ϕ: \mathbb{R}^d ightarrow \mathbb{R}$ and $ abla ϕ\approx abla f$; in addition, a "soft analysis" of $ abla ϕ$ gives a dual perspective on the theorem. Throughout, we come back to recent probabilistic models that are formulated as $ abla ϕ\approx abla f$, and conclude with a critique of denoising autoencoders.

研究动机与目标

• 研究深度前馈网络 ($ \psi$) 在近似光滑函数 $f$ 的梯度 $ abla f$ 方面的表达能力。
• 识别限制 $ \psi$ 表示 $ abla f$ 能力的结构性约束，特别是对称性条件 $ partial_j\psi_i = \partial_i\psi_j$，当网络深度超过一层时出现。
• 提出一种替代参数化方法，使用 $ \phi$ 使得 $ abla\phi \approx \nabla f$，从而规避显式 $ \psi$ 网络的约束。
• 分析该结果对现代概率模型和去噪自编码器的影响，这些模型依赖于 $ \psi \approx \nabla f$。

提出的方法

• 推导出 $ partial_j\psi_i = \partial_i\psi_j$ 作为 $ \psi$ 能够近似 $ abla f$ 的必要条件，该条件源于 $f$ 的混合偏导数的对称性。
• 证明对于深度网络（$L > 2$），该约束的唯一解是所有输入权重 $ theta_m^{(0)}$ 和输出权重 $ theta_n^{(L-1)}$ 必须平行，从而极大降低其表征能力。
• 引入基于 $ \phi: \mathbb{R}^d \to \mathbb{R}$ 的隐式参数化框架，其中 $ abla\phi$ 被用于近似 $ abla f$，从而绕过对称性约束。
• 对 $ abla\phi$ 进行“软分析”，表明其对应于 $L-1$ 个神经网络的乘积，暗示其计算结构比传统 $ \psi$ 网络更丰富。
• 批判去噪自编码器，指出其 $ \psi$-网络由于相同的对称性约束，无法在超过一层隐藏层时泛化，尽管在一隐藏层时表现良好。

实验结果

研究问题

• RQ1 深度前馈神经网络 $ \psi: \mathbb{R}^d \to \mathbb{R}^d$ 在隐藏层超过一层时，能否近似一般光滑函数 $f$ 的 $ abla f$？
• RQ2 在深度网络中，要求 $ partial_j\psi_i = \partial_i\psi_j$ 会引出何种结构性约束？这些约束如何限制参数化能力？
• RQ3 为何去噪自编码器在尝试近似得分函数 $ abla f$ 时，无法在超过一层隐藏层时泛化？
• RQ4 尽管 $ \psi$ 网络存在局限，深度网络 $ \phi: \mathbb{R}^d \to \mathbb{R}$ 的梯度 $ abla\phi$ 是否仍可作为 $ abla f$ 的通用近似器？

主要发现

• 对于深度网络（$L > 2$），对称性约束 $ partial_j\psi_i = \partial_i\psi_j$ 强制要求所有输入权重 $ theta_m^{(0)}$ 和输出权重 $ theta_n^{(L-1)}$ 必须平行，导致网络在第一隐藏层中仅能表示单一特征。
• 对所有 $i,j,m$，必须满足条件 $ theta_{im}^{(1)}\theta_{mj}^{(0)} = \ntheta_{jm}^{(1)}\theta_{mi}^{(0)}$，该条件在深度架构中仅在权重平行时可满足。
• 通过 $ \phi$ 实现的隐式参数化避开了对称性约束，使得深度网络能够普遍表示 $ abla f$，因为 $ abla\phi$ 对应于 $L-1$ 个网络的乘积。
• 去噪自编码器通过隐式定义 $ \psi \approx \nabla f$，但其 $ \psi$ 网络受限于仅能使用一层隐藏层，因为更深的 $ \psi$ 网络无法满足对称性约束，尽管在一隐藏层时具有泛化能力。
• 分析揭示了一个根本性的相变：单隐藏层 $ \psi$ 网络可通过权重重用表示 $ abla f$，但更深的 $ \psi$ 网络除非被限制为仅表示单一特征，否则完全无效，因此 $ \phi$ 成为唯一可行的深度替代方案。