[论文解读] On the Identifiability of Finite Mixtures of Finite Product Measures

Behrooz Tahmasebi, Seyed Abolfazl Motahari+1 more|arXiv (Cornell University)|Jul 14, 2018

Bayesian Methods and Mixture Models参考文献 13被引用 5

一句话总结

本文通过引入两种变量可分性——强可分性和弱可分性，建立了有限混合有限乘积测度的基本可识别性条件。证明了当存在至少 $2K-1$ 个强可分变量或 $2K$ 个弱可分变量时，可识别性得到保证，且该结论与状态空间大小 $M$ 无关，并通过特征多项式分析和归纳法证明了紧致阈值。

ABSTRACT

The problem of identifiability of finite mixtures of finite product measures is studied. A mixture model with $K$ mixture components and $L$ observed variables is considered, where each variable takes its value in a finite set with cardinality $M$.The variables are independent in each mixture component. The identifiability of a mixture model means the possibility of attaining the mixture components parameters by observing its mixture distribution. In this paper, we investigate fundamental relations between the identifiability of mixture models and the separability of their observed variables by introducing two types of separability: strongly and weakly separable variables. Roughly speaking, a variable is said to be separable, if and only if it has some differences among its probability distributions in different mixture components. We prove that mixture models are identifiable if the number of strongly separable variables is greater than or equal to $2K-1$, independent form $M$. This fundamental threshold is shown to be tight, where a family of non-identifiable mixture models with less than $2K-1$ strongly separable variables is provided. We also show that mixture models are identifiable if they have at least $2K$ weakly separable variables. To prove these theorems, we introduce a particular polynomial, called characteristic polynomial, which translates the identifiability conditions to identity of polynomials and allows us to construct an inductive proof.

研究动机与目标

• 建立有限混合有限乘积测度可识别性的基本条件。
• 研究强可分性和弱可分性在决定混合模型可识别性中的作用。
• 填补在群体遗传学等应用中常见的非通用、零测度参数区域的可识别性理论空白。
• 基于可分变量数量提供与状态空间大小 $M$ 无关的可识别性紧致阈值。
• 开发基于多项式的方法框架，利用特征多项式将可识别性问题转化为多项式恒等问题。

提出的方法

• 引入两种可分性概念：强可分变量（各分量间严格不同的pmf）和弱可分变量（各分量间pmf存在某些差异）。
• 定义一个特征多项式，将混合参数映射为多项式表示，从而将可识别性问题转化为多项式恒等问题。
• 使用归纳法和多项式恒等式论证，证明 $2K-1$ 个强可分变量足以保证可识别性。
• 从原始的 $M$-元模型构造辅助的二元混合模型，将问题简化为二元情形，利用已知的 $M=2$ 情况结果。
• 应用置换不变性和对称性论证，通过多项式等价性和变量投影技术，恢复分量参数的标签顺序。
• 构造少于 $2K-1$ 个强可分变量的紧致反例，证明该阈值为最优。

实验结果

研究问题

• RQ1 确保有限混合有限乘积测度可识别性所需的最少强可分变量数量是多少？
• RQ2 是否可在少于 $2K-1$ 个强可分变量下保证可识别性，抑或该阈值为紧致？
• RQ3 弱可分性的概念如何与可识别性关联，所需的最少弱可分变量数量是多少？
• RQ4 是否可利用特征多项式将可识别性问题转化为多项式恒等问题？
• RQ5 $2K$ 个弱可分变量的阈值是否最优，或可进一步改进？

主要发现

• 若有限混合有限乘积测度包含至少 $2K-1$ 个强可分变量，则其可识别，且该阈值为紧致。
• 明确构造了一类少于 $2K-1$ 个强可分变量的不可识别混合模型，证明该阈值为最优。
• 若有限混合包含至少 $2K$ 个弱可分变量，则其可识别，且该界与最优值仅相差一个变量。
• 特征多项式为将可识别性问题转化为多项式恒等式提供了关键工具，支持在变量数和分量数上进行归纳证明。
• 结果与状态空间大小 $M$ 无关，使其在任意有限离散变量的应用中具有鲁棒性。
• 当 $M=2$ 时，弱可分性与强可分性等价，且弱可分变量的 $2K$ 阈值退化为强可分变量的已知 $2K-1$ 阈值，与先前结果一致。