[论文解读] Rebuilding Factorized Information Criterion: Asymptotically Accurate Marginal Likelihood

Kohei Hayashi, Shin‐ichi Maeda+1 more|arXiv (Cornell University)|Apr 22, 2015

Bayesian Methods and Mixture Models参考文献 18被引用 7

一句话总结

本文提出了广义因子化信息准则（gFIC），一种针对潜在变量模型（LVMs）的边际对数似然的渐近精确近似，将FIC从二值LVMs扩展至连续和一般LVMs。通过将FIC重新解释为变分自由能并引入基于Hessian矩阵的惩罚项，gFIC实现了稳定的一次性模型选择，能自动剪除冗余的潜在维度，经由理论分析和贝叶斯PCA上的数值实验得到验证。

ABSTRACT

Factorized information criterion (FIC) is a recently developed approximation technique for the marginal log-likelihood, which provides an automatic model selection framework for a few latent variable models (LVMs) with tractable inference algorithms. This paper reconsiders FIC and fills theoretical gaps of previous FIC studies. First, we reveal the core idea of FIC that allows generalization for a broader class of LVMs, including continuous LVMs, in contrast to previous FICs, which are applicable only to binary LVMs. Second, we investigate the model selection mechanism of the generalized FIC. Our analysis provides a formal justification of FIC as a model selection criterion for LVMs and also a systematic procedure for pruning redundant latent variables that have been removed heuristically in previous studies. Third, we provide an interpretation of FIC as a variational free energy and uncover a few previously-unknown their relationships. A demonstrative study on Bayesian principal component analysis is provided and numerical experiments support our theoretical results.

研究动机与目标

• 解决原始因子化信息准则（FIC）在理论上存在的缺口，该准则仅限于二值潜在变量模型（LVMs），且缺乏对模型选择的正式依据。
• 将FIC推广至连续和更广泛的LVM类别，包括具有非二值或连续潜在变量的模型，其中先前的FIC公式因不适用复杂度惩罚而失效。
• 通过分析其渐近行为并将其与变分推断和自由能原理联系起来，为FIC作为一致模型选择准则提供正式的理论基础。
• 通过gFIC目标开发一种系统化、无启发式的方法来剪除冗余潜在变量，替代先前工作中使用的启发式移除策略。
• 通过贝叶斯PCA上的数值实验对方法进行实证验证，展示其在与BIC、VB和EM方法的对比中表现出的一致性与计算效率。

提出的方法

• 提出广义FIC（gFIC）作为边际对数似然的新近似，定义为潜在变量后验分布下的期望对数似然加上熵项和基于Hessian矩阵的惩罚项。
• 利用每个数据点的负对数似然关于模型参数的Hessian矩阵推导出惩罚项，确保在奇异模型中具有渐近准确性。
• 将gFIC重新解释为变分自由能，正式连接其与变分贝叶斯方法，将惩罚项解释为模型复杂度的度量。
• 应用类似EM的交替优化过程（gFAB）以最大化gFIC，通过自动识别并剪除退化潜在维度，实现一次性模型选择。
• 使用Laplace方法近似边际似然，将原始FIC中的离散计数惩罚替换为基于Fisher信息矩阵的连续、几何感知惩罚。
• 采用一次遍历算法，从高维潜在空间开始，通过gFIC目标引导，迭代剪除有效样本量较低的维度。

实验结果

研究问题

• RQ1 在奇异潜在变量模型中，FIC要一致估计真实潜在维度，其必要的理论条件是什么？
• RQ2 如何将FIC推广至连续和非二值潜在变量模型，其中原始的基于计数的惩罚不再适用？
• RQ3 FIC与变分自由能之间存在何种正式联系？该关系如何指导模型选择与复杂度正则化？
• RQ4 gFIC能否提供一种一致的一次性模型选择程序，避免在多个K值间反复比较模型？
• RQ5 在真实世界LVM（如贝叶斯PCA）中，gFIC在准确性、稳定性与计算成本方面与BIC、VB和EM相比表现如何？

主要发现

• gFIC为包括连续和奇异模型在内的广泛LVM类提供了边际对数似然的渐近精确近似，其适用范围超越了原始FIC的限制。
• gFIC中的基于Hessian矩阵的惩罚项在正则条件下与真实边际似然保持一致，正式确立了FIC作为有效模型选择准则的地位。
• gFIC可被解释为变分自由能，揭示了FIC与变分推断之间的深层联系，从而解释了其正则化行为。
• 在贝叶斯PCA上的数值实验表明，gFAB（gFIC的优化算法）在N≥500时能成功恢复真实潜在维度K=10，其一致性优于EM和VB2。
• gFAB通过自动剪除冗余维度实现一次性模型选择，无需评估所有K值，而BICEM和标准VB方法则需如此。
• VB2在小样本N下表现出不稳定性且对初始化高度敏感，这是由于引入了额外超参数和先验，而gFAB随N增加仍保持稳健与一致。