[论文解读] Scaling the Indian Buffet Process via Submodular Maximization

Colorado Reed, Zoubin Ghahramani|arXiv (Cornell University)|Apr 11, 2013

Bayesian Methods and Mixture Models参考文献 18被引用 20

一句话总结

本文提出MEIBP，一种用于具有印度披萨店过程（IBP）先验的线性高斯隐特征模型的可扩展近似最大后验（MAP）推理方法，采用极大化-期望（Maximization-Expectation）框架将推理重新表述为子模函数最大化问题。通过利用具有1/3近似保证的贪心优化方法，该方法实现了与数据规模的线性扩展，并在解的质量上优于变分方法，同时显著快于采样技术。

ABSTRACT

Inference for latent feature models is inherently difficult as the inference space grows exponentially with the size of the input data and number of latent features. In this work, we use Kurihara & Welling (2008)'s maximization-expectation framework to perform approximate MAP inference for linear-Gaussian latent feature models with an Indian Buffet Process (IBP) prior. This formulation yields a submodular function of the features that corresponds to a lower bound on the model evidence. By adding a constant to this function, we obtain a nonnegative submodular function that can be maximized via a greedy algorithm that obtains at least a one-third approximation to the optimal solution. Our inference method scales linearly with the size of the input data, and we show the efficacy of our method on the largest datasets currently analyzed using an IBP model.

研究动机与目标

• 为解决由于搜索空间呈指数增长而导致的IBP模型中精确推理的计算不可行性。
• 为大规模IBP基矩阵分解模型开发一种可扩展的近似推理方法。
• 利用子模优化实现高效、近似最优的解，并具备理论上的近似保证。
• 在大规模数据集上，其解的质量和运行时间均优于现有的变分和基于采样的推理方法。

提出的方法

• 使用极大化-期望（ME）框架对IBP模型的近似最大后验（MAP）推理进行形式化，替代标准的EM算法。
• 推导出一个子模代价函数，该函数作为模型证据的下界，从而实现高效优化。
• 通过向原函数添加常数，将推理问题转化为最大化一个非负子模函数。
• 应用贪心算法来最大化子模函数，保证至少达到最优解的1/3近似。
• 与数据规模呈线性扩展，适用于大规模数据集。
• 采用移位等价的二值矩阵类来简化数学表达，同时保持模型特性。

实验结果

研究问题

• RQ1 子模优化能否有效应用于基于IBP的隐特征模型中的近似MAP推理？
• RQ2 所提出的MEIBP方法是否在解的质量与计算效率之间实现了优于现有推理技术的权衡？
• RQ3 该方法是否能在保持高质量特征发现的同时与数据规模呈线性扩展？
• RQ4 贪心算法的1/3近似保证在实践中与精确推理或基于采样的推理相比表现如何？

主要发现

• 由于目标函数的子模性，MEIBP方法至少能获得最优解的1/3近似。
• 该方法与数据点数量呈线性扩展，使得在迄今为止分析的最大规模IBP模型数据集上实现高效推理成为可能。
• MEIBP在收敛到比变分推理方法更优的解的同时，显著快于最先进的采样技术。
• 该方法在合成数据集和真实世界数据集（包括大规模图像数据）上均表现出强劲的实证性能。
• 使用移位等价类简化了数学推导，且未损害模型性能。