[论文解读] Poisson Latent Feature Calculus for Generalized Indian Buffet Processes

Lancelot F. James|arXiv (Cornell University)|Nov 11, 2014

Bayesian Methods and Mixture Models参考文献 31被引用 7

一句话总结

本文提出了一种基于泊松过程演算的统一泊松潜在特征演算，系统地分析并构建广义印度餐厅过程（IBPs），使用任意分布作为潜在特征，而不仅限于伯努利分布。该方法通过一个通用框架实现高维稀疏特征模型的非共轭、非参数贝叶斯推断，涵盖现有IBP变体，并支持具有灵活先验的新多变量构造。

ABSTRACT

The purpose of this work is to describe a unified, and indeed simple, mechanism for non-parametric Bayesian analysis, construction and generative sampling of a large class of latent feature models which one can describe as generalized notions of Indian Buffet Processes(IBP). This is done via the Poisson Process Calculus as it now relates to latent feature models. The IBP was ingeniously devised by Griffiths and Ghahramani in (2005) and its generative scheme is cast in terms of customers entering sequentially an Indian Buffet restaurant and selecting previously sampled dishes as well as new dishes. In this metaphor dishes corresponds to latent features, attributes, preferences shared by individuals. The IBP, and its generalizations, represent an exciting class of models well suited to handle high dimensional statistical problems now common in this information age. The IBP is based on the usage of conditionally independent Bernoulli random variables, coupled with completely random measures acting as Bayesian priors, that are used to create sparse binary matrices. This Bayesian non-parametric view was a key insight due to Thibaux and Jordan (2007). One way to think of generalizations is to to use more general random variables. Of note in the current literature are models employing Poisson and Negative-Binomial random variables. However, unlike their closely related counterparts, generalized Chinese restaurant processes, the ability to analyze IBP models in a systematic and general manner is not yet available. The limitations are both in terms of knowledge about the effects of different priors and in terms of models based on a wider choice of random variables. This work will not only provide a thorough description of the properties of existing models but also provide a simple template to devise and analyze new models.

研究动机与目标

• 开发一种超越标准伯努利基础印度餐厅过程（IBP）的通用非参数贝叶斯框架，用于潜在特征模型。
• 利用泊松过程演算统一并简化广义IBP的分析，实现系统化构造与推断。
• 通过提供一致的理论基础，扩展基于泊松和负二项分布变量的现有模型。
• 实现具有任意分布和灵活先验结构的新多变量潜在特征过程的设计。
• 克服现有文献中非共轭模型（如广义伽马过程）性质理解不足的局限性。

提出的方法

• 该方法采用泊松过程演算（PPC），一种非组合方法，用于推导可交换贝叶斯过程的后验与边缘分布。
• 通过完全随机测度对潜在特征进行建模，其中生成过程由泊松随机测度驱动，从而在不依赖共轭性的情况下实现分析。
• 框架使用分解与Fubini型论证推导后验分布，将Blackwell-MacQueen瓮模型推广至特征模型。
• 引入多变量扩展，其中每个特征可具有多个佐料（如多个属性），并采用狄利克雷和Beta-狄利克雷成分表示分配概率。
• 模型允许使用在零点有质量的任意基分布 $ G_A $，包括连续型与离散型，并支持一般先验过程。
• 关键公式包括使用 $ \varphi = \theta \int_0^1 s^{-\alpha}(1-s)^{M+\beta+\alpha-1} ds $ 表示新菜品到达的强度，以及使用狄利克雷-多项式分布进行佐料选择。

实验结果

研究问题

• RQ1 如何发展一种统一的演算方法，以分析超越标准伯努利基础模型的广义印度餐厅过程？
• RQ2 当使用非共轭先验（如广义伽马过程）并结合泊松或负二项似然时，IBP模型的理论性质是什么？
• RQ3 如何利用统一框架系统地构建与分析多变量潜在特征模型？
• RQ4 在高维稀疏模型中，使用在零点有质量的任意分布 $ G_A $ 对特征分配有何影响？
• RQ5 泊松过程演算如何在复杂非参数贝叶斯模型中实现后验推断，而无需依赖共轭性？

主要发现

• 泊松过程演算提供了一种通用的非组合方法，用于推导潜在特征模型的后验与边缘分布，涵盖现有IBP变体。
• 该框架支持构建新型多变量IBP模型，其中每个特征可具有多个属性（佐料），并采用狄利克雷分配概率。
• 对于每个新顾客，新菜品数量服从强度为 $ \varphi = \theta \Gamma(1-\alpha)\Gamma(M+\beta+\alpha)/\Gamma(M+\beta+1) $ 的泊松分布，推广了单变量情形。
• 选择已有菜品 $ \omega_\ell $ 及其佐料 $ j $ 的概率与 $ (c_{j,\ell,M} + \gamma_j)/(c_{\ell,M} + \sum_k \gamma_k) \times c_{\ell,M-\alpha}/(M+\beta) $ 成正比，同时捕捉特征与属性的选择。
• 特征分配的联合分布由参数为 $ (\alpha, M+\beta+\alpha; \gamma_1,\ldots,\gamma_q; \theta) $ 的稳定-贝塔-狄利克雷过程控制，支持灵活的先验建模。
• 该方法通过利用泊松过程演算的结构特性，即使在缺乏共轭性的情况下，也能在泊松模型中实现广义伽马过程等非共轭先验。