[论文解读] On the Model Shrinkage Effect of Gamma Process Edge Partition Models

Iku Ohama, Issei Sato+2 more|arXiv (Cornell University)|Sep 26, 2017

Bayesian Methods and Mixture Models参考文献 10被引用 3

一句话总结

本文通过使用伽马过程先验，揭示了边缘划分模型（EPM）中模型收缩机制的关键缺陷，即伽马超先验会干扰自动原子剪枝过程。为解决此问题，作者提出了两种改进模型——CEPM（约束伽马先验）与DEPM（狄利克雷先验），实现了无限原子的完全边缘化，从而构建出真正无限的IDEPM模型，通过截断吉布斯采样实现状态最先进性能，在链接预测、收敛速度和混合效率方面表现卓越。

ABSTRACT

The edge partition model (EPM) is a fundamental Bayesian nonparametric model for extracting an overlapping structure from binary matrix. The EPM adopts a gamma process ($Γ$P) prior to automatically shrink the number of active atoms. However, we empirically found that the model shrinkage of the EPM does not typically work appropriately and leads to an overfitted solution. An analysis of the expectation of the EPM's intensity function suggested that the gamma priors for the EPM hyperparameters disturb the model shrinkage effect of the internal $Γ$P. In order to ensure that the model shrinkage effect of the EPM works in an appropriate manner, we proposed two novel generative constructions of the EPM: CEPM incorporating constrained gamma priors, and DEPM incorporating Dirichlet priors instead of the gamma priors. Furthermore, all DEPM's model parameters including the infinite atoms of the $Γ$P prior could be marginalized out, and thus it was possible to derive a truly infinite DEPM (IDEPM) that can be efficiently inferred using a collapsed Gibbs sampler. We experimentally confirmed that the model shrinkage of the proposed models works well and that the IDEPM indicated state-of-the-art performance in generalization ability, link prediction accuracy, mixing efficiency, and convergence speed.

研究动机与目标

• 诊断为何边缘划分模型（EPM）在实际应用中模型收缩效果未能正常工作。
• 识别根本原因：EPM超参数上的伽马先验干扰了内部伽马过程的收缩机制。
• 提出新的生成构造——CEPM与DEPM，通过重新定义先验依赖关系，恢复正确的模型收缩。
• 开发DEPM的真正无限、完全边缘化版本（IDEPM），通过截断吉布斯采样实现高效推理。
• 通过实证验证，所提模型在泛化能力、链接预测准确率、混合效率与收敛速度方面表现更优。

提出的方法

• 提出CEPM，采用约束伽马先验，将超先验影响与内部伽马过程解耦，确保收缩仅依赖于伽马过程。
• 通过在EPM潜在因子上用狄利克雷先验替代伽马超先验，引入DEPM，实现完全共轭性与边缘化。
• 通过积分消去所有参数（包括伽马过程的无限原子），推导出DEPM的闭式边缘似然，从而得到IDEPM。
• 通过边缘化所有模型参数（包括无限原子与超参数），为IDEPM实现截断吉布斯采样器。
• 利用共轭先验与条件分布，实现高效后验推理，包括对超参数α₁、α₂、γ₀与c₀的采样。
• 利用因子矩阵的l₁约束简化边缘似然，确保在无限极限下的可计算性。

实验结果

研究问题

• RQ1 为何标准EPM尽管使用了伽马过程先验，仍无法实现有效的模型收缩？
• RQ2 EPM超参数上的伽马先验如何干扰内部伽马过程的收缩效果？
• RQ3 能否通过改进的EPM构造，确保活跃原子的期望数量为有限且数据自适应？
• RQ4 是否可能在EPM框架中完全边缘化伽马过程的无限原子？
• RQ5 所得到的真正无限模型（IDEPM）是否在推理效率与预测性能方面优于现有模型？

主要发现

• EPM的模型收缩失效，是由于伽马超先验干扰所致，其通过与伽马过程强度相乘，扭曲了活跃原子的期望数量。
• EPM强度函数的期望依赖于伽马过程与超先验的共同作用，导致无法保证活跃原子数量有限。
• 所提出的CEPM与DEPM模型通过确保强度函数仅依赖于伽马过程先验，恢复了正确的收缩机制。
• DEPM可实现所有参数（包括无限原子）的完全边缘化，从而支持真正无限的IDEPM模型，并获得闭式边缘似然。
• IDEPM模型在合成数据与真实世界数据上，于链接预测准确率、泛化能力、混合效率与收敛速度方面均达到最先进水平。
• IDEPM的截断吉布斯采样器通过共轭后验更新，高效推断所有潜在变量与超参数（包括γ₀与c₀）。