[论文解读] The Multivariate Watson Distribution: Maximum-Likelihood Estimation and other Aspects

Suvrit Sra, Dmitrii Karp|arXiv (Cornell University)|Apr 22, 2011

Bayesian Methods and Mixture Models参考文献 18被引用 5

一句话总结

本文提出了多变量Watson分布最大似然估计的理论基础扎实、数值精确的近似方法，解决了高维设置下长期存在的数值难题。通过利用合流超几何函数的性质，推导出集中参数的紧致双侧边界，作者实现了高效且精确的参数估计，并将其应用于混合模型，揭示了与对径聚类的新关联，从而在合成数据和真实基因表达数据上提升了聚类性能。

ABSTRACT

This paper studies fundamental aspects of modelling data using multivariate Watson distributions. Although these distributions are natural for modelling axially symmetric data (i.e., unit vectors where $\pm \x$ are equivalent), for high-dimensions using them can be difficult. Why so? Largely because for Watson distributions even basic tasks such as maximum-likelihood are numerically challenging. To tackle the numerical difficulties some approximations have been derived---but these are either grossly inaccurate in high-dimensions (\emph{Directional Statistics}, Mardia & Jupp. 2000) or when reasonably accurate (\emph{J. Machine Learning Research, W. & C.P., v2}, Bijral \emph{et al.}, 2007, pp. 35--42), they lack theoretical justification. We derive new approximations to the maximum-likelihood estimates; our approximations are theoretically well-defined, numerically accurate, and easy to compute. We build on our parameter estimation and discuss mixture-modelling with Watson distributions; here we uncover a hitherto unknown connection to the "diametrical clustering" algorithm of Dhillon \emph{et al.} (\emph{Bioinformatics}, 19(13), 2003, pp. 1612--1619).

研究动机与目标

• 解决现有最大似然估计方法在高维下对多变量Watson分布的数值不稳定性与不准确性问题。
• 推导集中参数κ的理论可靠、紧致的双侧边界，以实现准确且高效的参数估计。
• 建立Watson分布混合模型与基因表达分析中使用的对径聚类算法之间的正式关联。
• 通过实验表明，通过Watson混合模型显式建模集中参数可优于仅使用对径聚类的聚类性能。

提出的方法

• 利用合流超几何函数M(a, c, κ)的性质，推导出Watson分布集中参数κ的最大似然方程的渐近精确双侧边界。
• 利用这些边界构建新的、理论合理的κ近似方法，具有数值稳定性与计算高效性。
• 使用估计的参数，通过类似EM的算法对Watson分布混合模型进行聚类。
• 揭示Watson混合模型EM过程的极限情况恰好对应于对径聚类算法，从而提供了生成性解释。
• 采用内部聚类验证指标——同质性（Havg）与分离度（Savg）——评估在合成数据与真实基因表达数据集上的性能。
• 在具有不同κ2值的合成数据上进行实验，以测试聚类可分性；并在三个真实基因微阵列数据集（人成纤维细胞、Yest细胞周期、Rosetta酿酒酵母）上，针对多个K值进行实验。

实验结果

研究问题

• RQ1 能否为多变量Watson分布的集中参数κ推导出紧致的双侧边界，以提升高维最大似然估计的数值稳定性？
• RQ2 在高维设置下，所提出的κ近似方法在准确性和效率上与现有启发式方法相比如何？
• RQ3 Watson分布混合模型与对径聚类算法之间存在何种理论关联？
• RQ4 通过Watson混合模型显式建模集中参数是否能带来优于仅使用对径聚类的聚类性能提升？

主要发现

• 所提出的κ双侧边界可产生高度准确且计算高效的近似，优于高维设置下现有启发式方法。
• 在合成数据上，聚类准确率随κ2增大而提高，表明更优的集中度建模可实现更清晰的聚类分离。
• 在真实基因表达数据集上，moW（Watson混合模型）在同质性（Havg）上达到可比或更优表现，且分离度（Savg）始终更低，表明聚间分离更优。
• 在表3中，moW在6种情况中的5种实现了更低的Savg值，表明聚类边界更清晰，尽管对径聚类本身是为优化同质性而设计的。
• Watson混合模型EM与对径聚类之间的理论关联得到验证：EM过程的极限情况恰好对应于对径聚类，提供了生成性解释。
• 该方法实现了高维轴对称数据的稳健聚类，相较于现有启发式方法具有实际改进。