[论文解读] Semiparametric energy-based probabilistic models

Jan Humplik, Gašper Tkačik|arXiv (Cornell University)|May 24, 2016

Neural dynamics and brain function参考文献 23被引用 3

一句话总结

本文提出了一种半参数能量模型，通过使用灵活的非参数表示学习能量函数的非线性变换，从而推广了传统能量模型。通过使用分段常数基函数建模非线性性，并与能量参数联合优化，该方法能够捕捉具有大动态范围的复杂概率分布——在视网膜神经元数据上的实验表明，其性能优于标准模型。

ABSTRACT

Probabilistic models can be defined by an energy function, where the probability of each state is proportional to the exponential of the state's negative energy. This paper considers a generalization of energy-based models in which the probability of a state is proportional to an arbitrary positive, strictly decreasing, and twice differentiable function of the state's energy. The precise shape of the nonlinear map from energies to unnormalized probabilities has to be learned from data together with the parameters of the energy function. As a case study we show that the above generalization of a fully visible Boltzmann machine yields an accurate model of neural activity of retinal ganglion cells. We attribute this success to the model's ability to easily capture distributions whose probabilities span a large dynamic range, a possible consequence of latent variables that globally couple the system. Similar features have recently been observed in many datasets, suggesting that our new method has wide applicability.

研究动机与目标

• 为解决标准能量模型在捕捉具有大动态范围的概率分布时的局限性，特别是当隐变量引起全局耦合时。
• 开发一种灵活的非参数方法，用于建模从能量到未归一化概率的非线性变换，而无需假设特定函数形式。
• 通过无约束优化实现能量函数与非线性变换的联合学习，提升模型表达能力。
• 在真实神经数据上展示该方法的有效性，特别是视网膜神经节细胞活动数据，标准模型无法捕捉其概率的完整范围。

提出的方法

• 该模型通过将负能量的指数替换为任意严格递减且二阶可微的函数 V，从而推广标准能量模型，使得 p(s|α,V) ∝ exp(−V(E(s|α)))。
• 非线性性 V 通过微分方程形式参数化：V(E) = γ₁ + γ₂∫ₑ₀ᴱ exp(∫ₑ₀ᴱ′ W(E′′) dE′′) dE′，其中 W 为分段常数函数。
• W 通过能量区间上的指示函数基展开，实现对其系数 β 的无约束优化，而 γ₁ 和 γ₂ 作为尺度和偏移参数进行学习。
• 使用持久对比分歧（Persistent Contrastive Divergence）进行训练，对耦合矩阵 J 和非线性参数（γ, β）采用独立的学习率，以确保稳定性。
• 在训练过程中动态更新能量范围 [E₀, E₁]，使其与当前参数下的观测能量范围相匹配。
• 通过密度态估计算法最大化近似似然，以改善收敛性并避免模式崩溃。

实验结果

研究问题

• RQ1 在能量到概率的映射中引入非参数可学习非线性性，是否能显著提升对复杂、高动态范围概率分布的建模能力，特别是在神经数据中？
• RQ2 所提出的半参数模型在捕捉视网膜神经节细胞活动统计特性方面，与标准成对模型和受限玻尔兹曼机相比表现如何？
• RQ3 所学习的非线性性在多大程度上使模型能够捕捉隐变量引起的全局耦合效应？
• RQ4 该模型是否能在不显式建模隐藏单元的情况下，实现优于参数化模型的似然和统计拟合？
• RQ5 对非线性性的非参数表示是否允许与能量函数参数实现稳定高效的联合优化？

主要发现

• 与标准成对模型和受限玻尔兹曼机相比，该半参数模型在视网膜神经节细胞数据上实现了显著更高的对数似然，表明其统计拟合更优。
• 该模型成功捕捉了神经活动概率的完整动态范围，包括罕见和极不可能的状态，而标准模型无法有效表示这些状态。
• 所学习的非线性性 V 在低能量区域表现出强烈的非线性特征，表明模型有效捕捉了隐变量引起的全局耦合效应。
• 通过持久对比分歧实现的能量函数与非线性性的联合优化，实现了稳定收敛，最终模型表现出更好的泛化能力并减少了模式崩溃。
• 使用分段常数基函数表示 W，实现了对非线性性的有效非参数建模，且无需施加限制性函数形式。
• 采用 Q=12 个能量区间并优化元参数 E₀ 和 E₁ 的最终模型表现最佳，证明了自适应能量区间划分的重要性。