[论文解读] Variational Noise-Contrastive Estimation

Benjamin Rhodes, Michael U. Gutmann|arXiv (Cornell University)|Oct 18, 2018

Gaussian Processes and Bayesian Inference被引用 5

一句话总结

该论文提出变分噪声对比估计（VNCE），一种新颖方法，通过将噪声对比估计（NCE）目标函数的变分下界进行公式化，实现了对未归一化隐变量模型的变分推断。VNCE 支持参数估计与后验推断，在性能上可与最大似然估计（MLE）相媲美，同时即使在数据不完整的情况下，仍能提供可计算、可优化的目标函数。

ABSTRACT

Unnormalised latent variable models are a broad and flexible class of statistical models. However, learning their parameters from data is intractable, and few estimation techniques are currently available for such models. To increase the number of techniques in our arsenal, we propose variational noise-contrastive estimation (VNCE), building on NCE which is a method that only applies to unnormalised models. The core idea is to use a variational lower bound to the NCE objective function, which can be optimised in the same fashion as the evidence lower bound (ELBO) in standard variational inference (VI). We prove that VNCE can be used for both parameter estimation of unnormalised models and posterior inference of latent variables. The developed theory shows that VNCE has the same level of generality as standard VI, meaning that advances made there can be directly imported to the unnormalised setting. We validate VNCE on toy models and apply it to a realistic problem of estimating an undirected graphical model from incomplete data.

研究动机与目标

• 解决未归一化隐变量模型缺乏有效估计技术的问题，这类模型由于归一化常数不可计算以及隐变量的边际化处理困难，属于双重不可计算问题。
• 弥合变分推断（VI）与噪声对比估计（NCE）之间的鸿沟，二者分别适用于不同类别的模型。
• 开发一种通用框架，支持在未归一化模型中同时进行参数估计与后验推断，且具备与标准 VI 相当的理论基础。
• 在真实问题上展示该方法的鲁棒性与实际应用价值：从不完整数据中学习马尔可夫随机场模型。

提出的方法

• 提出 NCE 目标函数的变分下界，使优化过程类似于标准 VI 中的证据下界（ELBO）优化。
• 使用变分近似 $q({\mathbf{z}} \mid {\mathbf{x}}; \boldsymbol{\phi})$ 近似真实后验 $p({\mathbf{z}} \mid {\mathbf{x}}; \boldsymbol{\theta})$，从而实现模型参数 $\boldsymbol{\theta}$ 与变分参数 $\boldsymbol{\phi}$ 的联合优化。
• 将 VNCE 目标函数公式化为 NCE 损失的可计算下界，通过随机优化方法（如 BFGS 等标准求解器）进行最大化。
• 证明 VNCE 最小化的是真实后验与近似后验之间的 f-散度，且随着计算资源增加，该散度收敛至 KL 散度。
• 将该方法应用于存在缺失数据的马尔可夫随机场模型，使用吉布斯采样实现可计算的评估，并通过阈值化方法恢复图结构。
• 通过 AUC 指标在 ROC 曲线上对比 VNCE 与使用均值插补的 NCE 及蒙特卡洛最大似然估计（MC-MLE），评估边恢复性能。

实验结果

研究问题

• RQ1 能否为 NCE 目标函数构造一个变分下界，以实现对未归一化隐变量模型的端到端训练？
• RQ2 当数据不完整时，VNCE 是否能作为 MLE 和 NCE 的理论合理替代方法用于参数估计？
• RQ3 VNCE 是否能有效执行未归一化模型中的后验推断？其散度最小化机制与标准 VI 相比如何？
• RQ4 在从不完整数据中恢复图模型结构方面，VNCE 相较于使用均值插补的 NCE 和 MC-MLE 表现如何？
• RQ5 当高效采样不可行时，VNCE 是否可作为 MLE 的实用且可优化的替代方案？

主要发现

• 在数据缺失比例达 40% 或以上时，VNCE 显著优于使用均值插补的 NCE，此时 NCE 的 AUC 接近 0.5（随机猜测水平）。
• 经过仔细的学习率调优，MC-MLE 达到最高 AUC，确认其作为参数估计的黄金标准。
• 在非理想超参数设置下，VNCE 表现与 MC-MLE 相当，展现出良好的鲁棒性与实际可行性。
• VNCE 目标函数定义明确且可优化，可使用标准优化器进行训练，适用于交叉验证与正则化——而 MC-MLE 缺乏可计算的目标函数。
• VNCE 保持理论一致性，其最小化的 f-散度在计算资源增加时收敛至 KL 散度。
• 该方法具有通用性与可扩展性：标准 VI 领域的进展可直接通过 VNCE 应用于未归一化设置。