[论文解读] On The Identifiability of Mixture Models from Grouped Samples

Robert A. Vandermeulen, Clayton Scott|arXiv (Cornell University)|Feb 23, 2015

Bayesian Methods and Mixture Models参考文献 13被引用 6

一句话总结

本文证明了当每个组包含来自同一分量的 2m−1 个独立同分布样本时，具有 m 个分量的有限混合模型在非参数意义下是可识别的，且该界限是紧致的——当仅有 2m−2 个样本时，可识别性将不成立。该结果适用于任意包含多于一个元素的样本空间，依赖于张量积结构和希尔伯特空间中的线性无关性，通过矩匹配证明可识别性。

ABSTRACT

Finite mixture models are statistical models which appear in many problems in statistics and machine learning. In such models it is assumed that data are drawn from random probability measures, called mixture components, which are themselves drawn from a probability measure P over probability measures. When estimating mixture models, it is common to make assumptions on the mixture components, such as parametric assumptions. In this paper, we make no assumption on the mixture components, and instead assume that observations from the mixture model are grouped, such that observations in the same group are known to be drawn from the same component. We show that any mixture of m probability measures can be uniquely identified provided there are 2m-1 observations per group. Moreover we show that, for any m, there exists a mixture of m probability measures that cannot be uniquely identified when groups have 2m-2 observations. Our results hold for any sample space with more than one element.

研究动机与目标

• 建立有限混合模型在不假设分量参数形式下的基本可识别条件。
• 研究组大小——特别是每组独立同分布样本的数量——如何影响非参数混合模型中的可识别性。
• 确定唯一恢复分量上混合测度 P 所需的最小组大小，且该结果与底层样本空间无关。
• 证明每组 2m−1 个样本对于 m 分量混合模型的可识别性既必要又充分。
• 构造显式反例，证明当组大小为 2m−2 时可识别性不成立，从而证明该界限是紧致的。

提出的方法

• 将模型形式化为在概率测度上的随机测度 P，其中每组独立同分布的观测值来自同一分量 p_i ~ P。
• 使用张量积空间表示组样本的联合分布，利用 p_i^{igotimes n} 的结构表示 n 个组样本。
• 在希尔伯特空间中应用线性代数技术，分析分量测度张量幂的线性相关性，特别是 p_i^{igotimes (2m-2)} 的情形。
• 通过在两个原子上构造伯努利测度的反例，证明在 2m−2 个样本时存在不同混合模型却具有相同的组分布，从而证明不可识别性。
• 利用引理 5.1 将问题约化为对称张量积的相等性，利用引理 6.1 将反例嵌入一般情形。
• 证明任意 m 个测度均可嵌入概率测度的 1 维仿射子空间中，从而在 2m−2 个样本时构造出不可识别的混合模型。

实验结果

研究问题

• RQ1 在不假设参数形式的前提下，每组至少需要多少独立同分布样本才能确保具有 m 个分量的有限混合模型可识别？
• RQ2 在非参数模型下，对于任意包含多于一个元素的样本空间，是否可保证可识别性？
• RQ3 每组 2m−1 个样本的界限是否紧致，还是可在更少样本下实现可识别性？
• RQ4 当每组样本数为 2m−2 时，是否能从分组样本中唯一恢复具有 m 个分量的混合模型？
• RQ5 分量测度的几何结构如何影响非参数混合模型中的可识别性？

主要发现

• 只要每组包含至少 2m−1 个来自同一分量的独立同分布观测值，任意 m 个概率测度的混合模型即可从分组样本中实现可识别。
• 每组 2m−1 个样本的界限是紧致的：存在一个 m 个分量的混合模型，当每组仅有 2m−2 个样本时无法被唯一识别。
• 反例依赖于将 m 个不同的伯努利测度构造为两个点质量的凸组合，通过相同的 (2m−2) 重张量积展示不可识别性。
• 该结果对任意包含至少两个元素的样本空间均成立，表明该界限与底层定义域无关。
• 证明技术依赖于希尔伯特空间中张量幂的线性无关性，以及存在一个向量与前 m 个张量幂正交但不与第 (m+1) 个正交，从而在 2m−2 个样本时证明不可识别性。
• 文中指出该结果与二项分布混合模型可识别性的联系，因为 Blischke (1964) 证明在该设定下 n ≥ 2m−1 是参数可识别性的必要且充分条件。