[论文解读] Neural Empirical Bayes

Saeed Saremi, Aapo Hyvärinen|Työväentutkimus Vuosikirja|Mar 6, 2019

Neural Networks and Applications参考文献 42被引用 10

一句话总结

该论文提出了神经经验贝叶斯（NEB），一种通过基于测度集中现象的几何解释，统一核密度估计与经验贝叶斯的框架。通过使用神经网络参数化对数密度，并利用罗宾斯估计器进行去噪，NEB 实现了行走-跳跃采样方案以及一种新型关联记忆模型（NEBULA），该模型能生成‘创造性记忆’——即从高维球体相互作用中涌现的结构化、非真实的数据点。

ABSTRACT

We unify $ extit{kernel density estimation}$ and $ extit{empirical Bayes}$ and address a set of problems in unsupervised learning with a geometric interpretation of those methods, rooted in the $ extit{concentration of measure}$ phenomenon. Kernel density is viewed symbolically as $X ightharpoonup Y$ where the random variable $X$ is smoothed to $Y= X+N(0,σ^2 I_d)$, and empirical Bayes is the machinery to denoise in a least-squares sense, which we express as $X \leftharpoondown Y$. A learning objective is derived by combining these two, symbolically captured by $X ightleftharpoons Y$. Crucially, instead of using the original nonparametric estimators, we parametrize $ extit{the energy function}$ with a neural network denoted by $ϕ$; at optimality, $ abla ϕ\approx - abla \log f$ where $f$ is the density of $Y$. The optimization problem is abstracted as interactions of high-dimensional spheres which emerge due to the concentration of isotropic gaussians. We introduce two algorithmic frameworks based on this machinery: (i) a "walk-jump" sampling scheme that combines Langevin MCMC (walks) and empirical Bayes (jumps), and (ii) a probabilistic framework for $ extit{associative memory}$, called NEBULA, defined à la Hopfield by the $ extit{gradient flow}$ of the learned energy to a set of attractors. We finish the paper by reporting the emergence of very rich "creative memories" as attractors of NEBULA for highly-overlapping spheres.

研究动机与目标

• 在测度集中现象的高维几何框架下，统一核密度估计与经验贝叶斯。
• 通过将数据平滑（X → Y）与去噪（X ← Y）建模为双向操作，解决无监督学习问题。
• 开发一种基于神经网络的能量函数，以近似 −∇log f，其中 f 为平滑后数据 Y 的密度。
• 提出一种结合朗之万 MCMC 与经验贝叶斯去噪的行走-跳跃采样方案。
• 设计 NEBULA，一种概率关联记忆系统，可从数据中学习吸引子，表现出‘创造性’记忆形成。

提出的方法

• 该方法以符号形式表示数据平滑为 X ↱ Y，其中 Y = X + N(0, σ²I_d)，并通过经验贝叶斯实现去噪为 X ⇩ Y，使用罗宾斯估计器 X̂(y) = y + σ²∇log f(y)。
• 学习目标被表述为 E[‖X − X̂(Y)‖²]，即最小化原始样本与去噪样本之间的均方误差。
• 对数密度 ∇log f 通过神经网络 φ 近似，使得 ∇φ ≈ −∇log f，训练过程采用随机梯度下降。
• 该框架利用测度集中现象，表明在高维空间中，各向同性高斯分布集中在高维球面上，导致流形的解体-扩展。
• 提出一种行走-跳跃采样方案：朗之万 MCMC 步骤（行走）与经验贝叶斯去噪步骤（跳跃）交替进行，从而提升样本质量。
• NEBULA 被引入为基于学习到的能量函数的梯度流模型，其吸引子由高维空间中 i-球面的重叠相互作用产生。

实验结果

研究问题

• RQ1 如何在基于高维测度集中的统一几何框架下，正式统一核密度估计与经验贝叶斯？
• RQ2 当数据通过各向同性高斯噪声平滑时，高维空间中流形解体-扩展现象有何影响？
• RQ3 神经网络对能量函数的参数化能否有效近似未归一化密度估计的得分函数 ∇log f？
• RQ4 与标准 MCMC 相比，行走-跳跃采样方案在无监督学习中能在多大程度上提升样本质量？
• RQ5 NEBULA 模型中的吸引子是否表现出‘创造性’记忆形成，即非原始数据集中存在的结构化、非真实数据点？

主要发现

• 该框架表明，在高维空间中，通过各向同性高斯噪声平滑数据会导致分布支撑集从低维流形 M 扩展至高维球面 N ≈ √((ε² + σ²)(d − d_♯))S^{d−1}，这一现象被称为流形解体-扩展。
• 所提出的行走-跳跃采样方案因有效的去噪跳跃步骤而产生视觉上吸引人的样本，该步骤可纠正朗之万 MCMC 的漂移。
• NEBULA 关联记忆模型生成的吸引子并非 f_X 或 f_Y 的统计样本，表明其产生了涌现的、结构化的表征。
• 当 σ = 0.3 时，强烈的 i-球面相互作用导致吸引子将数字 '3' 转变为 '7'，展示了非平凡且上下文敏感的记忆形成。
• 当从 [0,1]^d 中的均匀随机点初始化时，NEBULA 生成了‘创造性记忆’——即训练数据中不存在的结构化、非真实图像，如图 9 和图 10 所示。
• 这些创造性记忆自然地从系统中涌现，无需人工选择，表明 i-球面相互作用与学习到的能量函数可引发复杂且高层级的表征。