[论文解读] Neural Sampling in Hierarchical Exponential-family Energy-based Models

Xingsi Dong, Si Wu|arXiv (Cornell University)|Oct 12, 2023

Neural Networks and ApplicationsComputer Science被引用 3

一句话总结

本文提出了分层指数族能量模型（HEE），通过在层级间分解配分函数，并利用快时变神经元对归一化项进行采样，实现了局部化、生物可解释的推断与学习。该模型无需负相位即可实现高效且收敛的训练，同时匹配生物神经动力学特征（如振荡与瞬态响应），并生成与当前最先进能量模型相当的高质量图像。

ABSTRACT

Bayesian brain theory suggests that the brain employs generative models to understand the external world. The sampling-based perspective posits that the brain infers the posterior distribution through samples of stochastic neuronal responses. Additionally, the brain continually updates its generative model to approach the true distribution of the external world. In this study, we introduce the Hierarchical Exponential-family Energy-based (HEE) model, which captures the dynamics of inference and learning. In the HEE model, we decompose the partition function into individual layers and leverage a group of neurons with shorter time constants to sample the gradient of the decomposed normalization term. This allows our model to estimate the partition function and perform inference simultaneously, circumventing the negative phase encountered in conventional energy-based models (EBMs). As a result, the learning process is localized both in time and space, and the model is easy to converge. To match the brain's rapid computation, we demonstrate that neural adaptation can serve as a momentum term, significantly accelerating the inference process. On natural image datasets, our model exhibits representations akin to those observed in the biological visual system. Furthermore, for the machine learning community, our model can generate observations through joint or marginal generation. We show that marginal generation outperforms joint generation and achieves performance on par with other EBMs.

研究动机与目标

• 开发一种生成模型，支持基于采样的贝叶斯推断与时空上局部化的学习，与大脑功能一致。
• 解决能量模型（EBM）中配分函数估计的挑战，该问题传统上需要非局部的负相位。
• 将神经适应机制整合到推断动力学中，以加速收敛并模拟生物神经现象。
• 验证模型生成真实数据的能力，以及生成类似于生物视觉系统中所见表征的能力。

提出的方法

• 提出分层指数族能量模型（HEE），将全局配分函数分解为各层归一化项的和，将所需样本空间从乘积形式简化为求和形式。
• 使用一组时间常数较短的快时变神经元，对分解后的对数配分函数梯度进行采样，实现对归一化项的局部估计。
• 将神经适应引入推断过程，作为类似动量的项，使动力学转化为二阶朗之万过程，从而加速收敛。
• 采用潜在空间中的边缘生成方法，通过马尔可夫链蒙特卡洛（MCMC）实现，其性能优于联合生成，且与其它 EBM 在图像生成任务中表现相当。
• 在 CIFAR10 上训练时引入生物约束（如感受野），使模型的表征与视觉皮层中观察到的结果相一致。
• 采用类似扩散模型的分层马尔可夫结构，但将马尔可夫链展开于神经层级而非时间维度。

实验结果

研究问题

• RQ1 分层能量模型能否在时空上实现高效推断与局部化学习，与大脑神经计算一致？
• RQ2 如何实现 EBM 中配分函数估计的局部化，以避免非局部负相位？
• RQ3 内在神经适应能否作为动量机制，加速非凸能量景观中的采样？
• RQ4 HEE 模型能否生成类似于生物视觉系统中所见语义特征（如方向、颜色、类别）的表征？
• RQ5 HEE 模型中的边缘生成能否实现与其它最先进能量模型相当的性能？

主要发现

• HEE 模型通过在层级间分解配分函数，消除了对负相位的需求，实现了时间与空间上的完全局部化学习。
• 利用快时变神经元对各层归一化项进行采样，使模型能够同时估计配分函数并执行推断。
• 将神经适应作为动量项引入，加速了推断过程，并诱发了生物系统中常见的神经现象（如振荡与瞬态响应）。
• 在 FashionMNIST 与 CIFAR10 上，HEE 模型的图像生成性能与其它最先进 EBM 相当。
• 模型对方向、颜色与类别等语义特征的学习表征，与生物视觉系统中的发现高度相似。
• HEE 模型中的边缘生成优于联合生成，且性能与其它 EBM 相当，证明了其强大的生成能力。