[论文解读] The probability of drawing intersections: extending the hypergeometric distribution

Alex T. Kalinka|arXiv (Cornell University)|May 3, 2013

Genetic Mapping and Diversity in Plants and Animals参考文献 16被引用 11

一句话总结

本文将超几何分布扩展至建模从多个瓮中无放回抽样时交集大小的问题，每个瓮包含不同类别的物体。推导了对称与非对称情形下的精确概率质量函数，表明两瓮情形退化为经典超几何分布，并为含重复项的特殊情况提供了闭式解。主要贡献是为多变量生物数据中的富集检验提供了一个通用框架，已在 R 包 'hint' 中实现。

ABSTRACT

The wide availability of biological data at the genome-scale and across multiple variables has resulted in statistical questions regarding the enrichment or depletion of the number of discrete objects (e.g. genes) identified in individual experiments. Here, I consider the problem of inferring enrichment or depletion when drawing independently, and without replacement, from two or more separate urns in which the same $n$ distinct categories of objects exist. The statistic of interest is the size of the intersection of object categories. I derive a probability mass function describing the distribution of intersection sizes when sampling from N urns and show that this distribution follows the classic hypergeometric distribution when N = 2. I apply the theory to the intersection of genes belonging to a set of traits in three different vertebrate species illustrating that the use of P-values from one-tailed enrichment tests enables accurate clustering of related traits, yet this is not possible when relying on intersection sizes alone. In addition, intersection distributions provide a means to test for co-localization of objects in images when using discretized data, allowing co-localization tests in more than two channels. Finally, I show how to extend the problem to variable numbers of objects belonging to each category, and discuss how to make further progress in this direction. The distribution functions are implemented and freely available in the R package 'hint'.

研究动机与目标

• 开发一个无放回抽样自多个瓮（每个瓮包含不同类别的物体）时交集大小的概率模型。
• 将超几何分布推广至处理多于两类的情况，并支持从独立瓮中抽样。
• 实现对多变量生物数据集中共享类别富集或耗竭的统计推断，例如跨物种的重叠基因集。
• 将框架扩展至每类对象数量可变的情形，包括瓮中存在重复条目。
• 提供计算工具，利用离散化物体位置对多通道图像数据中的共定位进行检验。

提出的方法

• 通过组合计数有效类别组合的方式，推导从 N 个瓮中抽样时交集大小的概率质量函数，每个瓮包含 n 个不同类别。
• 使用三项式系数与组合恒等式简化表达式，表明两瓮单对象情形退化为标准超几何分布。
• 通过向一个瓮中增加 q 个重复类别的非对称扩展，导出一个复杂求和，虽无闭式解但可计算。
• 利用生成函数与组合恒等式，推导出从所有类别均含重复项的单个瓮中抽样时，不同类别数量的闭式表达式。
• 应用推导出的分布，通过单尾 P 值检验交集大小的统计显著性，实现生物相关性状的聚类。
• 在开源 R 包 'hint' 中实现完整框架，便于在基因组学与成像应用中使用。

实验结果

研究问题

• RQ1 当从两个或多个瓮中无放回抽样，每个瓮包含 n 个不同类别时，交集大小的精确概率分布是什么？
• RQ2 当一个瓮中某些类别存在重复成员时，交集分布如何变化？能否以闭式表达？
• RQ3 所推导的分布能否用于检测生物数据集中共享类别的显著富集，例如跨物种的重叠基因集？
• RQ4 从所有类别均含重复项的瓮中抽样时，所抽取的不同类别数的期望值如何依赖于样本大小与类别总数？
• RQ5 该框架能否扩展至检验两个交集分布之间的显著差异，例如在多通道图像共定位分析中？

主要发现

• 当两个瓮中每个类别仅含一个物体时，交集分布恰好为超几何分布，证实其适用性不仅限于经典单瓮场景。
• 当一个瓮中存在 q 个重复类别时，分布无法以闭式表达，但可通过含二项式系数的有限求和计算。
• 推导出所有 n 个类别均含重复项的单个瓮中抽样时，不同类别数的闭式表达式：$ \binom{n}{c}\binom{c}{a-c}2^{2c-a} / \binom{2n}{a} $。
• 所有类别均含重复项的瓮中，抽样所得不同类别数的期望为 $ \bb{E}(X) = a\big(1 - \frac{a-1}{4n-2}\big) $，该值小于 a 与 n 两者。
• 使用富集检验的单尾 P 值，该方法成功聚类了三个脊椎动物物种中生物相关的性状，而仅使用交集大小则无法揭示真实关系。
• 该框架通过建模离散化空间通道中的物体交集，实现了多通道成像中共定位的统计检验。