[论文解读] Scaled subordinators and generalizations of the Indian buffet process

Lancelot F. James, Peter Orbanz+1 more|arXiv (Cornell University)|Oct 25, 2015

Economics of Agriculture and Food Markets参考文献 30被引用 10

一句话总结

本文通过引入缩放的子ordinator（subordinator）来推广印度餐厅过程（Indian buffet process），以建模随机的重叠集合族，其中元素可属于多个子集。本文建立了缩放子ordinator与Poisson-Kingman测度之间的对应关系，表明重尾缩放可导致前 $ n $ 个元素所属集合数量呈现幂律行为——这扩展了关于交换划分的经典结果，并为机器学习中的关系与特征分配模型提供了灵活的框架。

ABSTRACT

We study random families of subsets of $\mathbb{N}$ that are similar to exchangeable random partitions, but do not require constituent sets to be disjoint: Each element of ${\mathbb{N}}$ may be contained in multiple subsets. One class of such objects, known as Indian buffet processes, has become a popular tool in machine learning. Based on an equivalence between Indian buffet and scale-invariant Poisson processes, we identify a random scaling variable whose role is similar to that played in exchangeable partition models by the total mass of a random measure. Analogous to the construction of exchangeable partitions from normalized subordinators, random families of sets can be constructed from randomly scaled subordinators. Coupling to a heavy-tailed scaling variable induces a power law on the number of sets containing the first $n$ elements. Several examples, with properties desirable in applications, are derived explicitly. A relationship to exchangeable partitions is made precise as a correspondence between scaled subordinators and Poisson-Kingman measures, generalizing a result of Arratia, Barbour and Tavare on scale-invariant processes.

研究动机与目标

• 通过允许子集重叠，将印度餐厅过程从不相交集合模型扩展，以实现对关系与特征分配数据更灵活的建模。
• 识别一个类似于交换划分模型中总质量的缩放随机变量，该变量控制每个元素所属集合的数量。
• 通过随机缩放的子ordinator建立随机集合族的一般构造，推广Poisson-Kingman框架。
• 推导出集合计数与大小呈现幂律行为的显式例子，特别是当缩放变量为重尾分布时。
• 形式化缩放子ordinator与Poisson-Kingman测度之间的联系，推广Arratia、Barbour与Tavaré的已知结果。

提出的方法

• 以尺度不变的泊松过程为基础，通过一个随机缩放变量将其与单参数印度餐厅过程联系起来。
• 引入一个随机缩放变量 $ T_{\theta} $，用于控制子ordinator的强度，推广了在划分模型中总质量的角色。
• 通过子ordinator的归一化分布 $ Q_{1:\nu} $ 构造随机集合族，其由 $ \lambda $ 和 $ T_{\theta} $ 决定，满足 $ \mathcal{L}(Q_{1:\infty}|T_{\xi}=t) = \text{PK}(\lambda|D_{\theta}=at) $。
• 应用指数倾斜与伽马Lévy密度变换，将复杂的Poisson-Kingman测度简化为已知分布，如 $ \text{PD}(0,\theta) $ 与 $ \text{PD}(\alpha,\theta) $。
• 利用大小偏差取样与Le Cam不等式中的总变差界，分析泊松极限下的行和与近似误差。
• 在连续时间过程中利用马尔可夫性质与条件独立性，证明统计量 $ \tau_{\beta} $ 对于给定 $ T $ 时 $ X_{\beta} $ 的条件分布是充分的。

实验结果

研究问题

• RQ1 如何在保持交换性与幂律行为的前提下，将印度餐厅过程推广以允许集合重叠？
• RQ2 随机缩放变量在控制随机集合族中前 $ n $ 个元素所属集合数量方面起什么作用？
• RQ3 缩放子ordinator与Poisson-Kingman测度之间有何关系？该关系能否推广已知的交换划分结果？
• RQ4 当子ordinator为稳定分布或缩放变量为重尾分布时，所得集合族的分布性质是什么？
• RQ5 该构造能否同时在集合数量与集合大小上产生幂律，以及如何实现？

主要发现

• 给定 $ T_{\xi} = t $ 时，随机集合族的分布律为Poisson-Kingman测度 $ \text{PK}(\lambda|D_{\theta}=at) $，建立了缩放子ordinator与该类随机测度之间的直接联系。
• 当子ordinator为 $ \alpha $-稳定且缩放变量也为 $ \alpha $-稳定时，所得分布为 $ \text{PD}(\alpha,\alpha) $，推广了两参数Poisson-Dirichlet分布。
• 当Lévy密度为伽马型 $ \lambda'(s) = \theta s^{-1}e^{-s} $ 时，条件分布变为 $ \text{PD}(0,\theta) $，恢复了一参数印度餐厅过程。
• 重尾缩放导致前 $ n $ 个元素所属集合数量呈现幂律，幂律指数由缩放变量的尾指数决定。
• 基于Bertoin等人提出的一个变量的另一种构造，可同时在集合数量与集合大小上实现幂律，显著增强了建模灵活性。
• 二值矩阵 $ \mathbf{Z} $ 的行和（即每个对象的特征计数）服从广义二项分布，近似误差由 $ \mathbb{E}[T_{\xi}^2 \tilde{V}_1] $ 限定，其中 $ \tilde{V}_1 $ 为第一个大小偏差权重。