[论文解读] Review of Probability Distributions for Modeling Count Data

F. William Townes|arXiv (Cornell University)|Jan 10, 2020

Data Management and Algorithms参考文献 19被引用 6

一句话总结

本文对计数数据的概率分布进行了严谨的综述，通过详细的推导，建立了泊松分布、负二项分布、多项分布与狄利克雷-多项分布模型之间的基本联系。主要贡献在于形式化证明了：在给定总和的条件下，独立的负二项随机变量的条件分布即为狄利克雷-多项分布，从而为在基因组学和主题建模等应用中，将负二项分布模型用作更现实的狄利克雷-多项分布模型的计算上可行的近似提供了理论依据。

ABSTRACT

Count data take on non-negative integer values and are challenging to properly analyze using standard linear-Gaussian methods such as linear regression and principal components analysis. Generalized linear models enable direct modeling of counts in a regression context using distributions such as the Poisson and negative binomial. When counts contain only relative information, multinomial or Dirichlet-multinomial models can be more appropriate. We review some of the fundamental connections between multinomial and count models from probability theory, providing detailed proofs. These relationships are useful for methods development in applications such as topic modeling of text data and genomics.

研究动机与目标

• 澄清并形式化统计建模中常用计数分布与组成分布之间的理论关系。
• 解决应用文献中关于泊松-伽马、负二项分布、多项分布与狄利克雷-多项分布之间关系的普遍混淆。
• 为这些关系提供闭式推导与证明，支持基因组学与文本分析中的方法论发展。
• 评估这些关系对模型选择的影响，特别是在高通量测序与主题建模应用中的意义。
• 指出伽马与狄利克雷共轭先验的局限性，并提出更具灵活性的替代方案。

提出的方法

• 通过伽马分布率参数的边缘化，推导负二项分布与泊松-伽马混合分布之间的等价性。
• 证明狄利克雷分布是独立伽马分布随机变量归一化和的分布，从而建立其与多项分布模型的基础联系。
• 证明多项分布等价于在总和固定的条件下，独立的泊松(λi)变量，从而支持基于泊松的近似方法。
• 在共同尺度参数θ的约束下，建立狄利克雷-多项分布等价于独立负二项分布变量在给定其总和时的条件分布。
• 使用多变量变换技术与雅可比行列式，推导归一化伽马变量的联合分布，从而导出狄利克雷分布。
• 应用贝叶斯定理，推导独立负二项分布变量在给定其总和时的条件PMF，确认其符合狄利克雷-多项分布形式。

实验结果

研究问题

• RQ1 如何形式化推导负二项分布作为泊松-伽马混合分布？
• RQ2 狄利克雷分布与独立伽马变量归一化和之间的精确数学关系是什么？
• RQ3 多项分布在何种意义上等价于在总和固定的条件下，独立泊松变量的条件分布？
• RQ4 在何种条件下，独立负二项分布变量在给定其总和时的条件分布会得到狄利克雷-多项分布？
• RQ5 为何假设所有负二项分布分量具有相同的尺度参数θ，对从独立负二项分布构造狄利克雷-多项分布至关重要？

主要发现

• 负二项分布在数学上等价于率参数服从伽马分布的泊松分布，通过边缘化可得闭式PMF。
• 狄利克雷分布是独立伽马分布随机变量归一化和的分布，其伽马分布总和服从形状参数等于各形状参数之和的伽马分布。
• 总次数为m、类别概率为πi的多项分布，等价于n个独立泊松(λi)变量在总和为m的条件下，其中λi = mπi。
• 总次数为m、浓度参数为αi的狄利克雷-多项分布，等价于n个独立负二项(αi, θ)变量在总和M = m的条件下，前提是所有分量具有相同的尺度参数θ。
• 要求所有负二项分布分量具有相同的θ是至关重要的；若无此条件，总和M将不遵循闭式分布，且条件分布也非狄利克雷-多项分布。
• 理论上的等价性支持在主题建模与单细胞RNA-seq分析等应用中，将负二项分布模型用作狄利克雷-多项分布模型的计算高效近似。