[论文解读] Spectral Learning of Large Structured HMMs for Comparative Epigenomics

Chicheng Zhang, Jimin Song+2 more|arXiv (Cornell University)|Jun 4, 2015

Genomics and Chromatin Dynamics参考文献 17被引用 3

一句话总结

本文提出Spectral-Tree，一种新颖的谱学习算法，用于具有多个人类细胞类型之间隐藏状态树状依赖关系的大规模结构化隐马尔可夫模型（HMM）。通过利用根到叶路径分解、Skeletensor构建和乘积投影（Product Projections）的树状结构，该方法在细胞类型数量上实现多项式时间复杂度，从而实现了对多细胞类型表观基因组数据中染色质状态分割的高效且精确的学习，相较于EM算法和独立HMM学习方法表现出显著改进。

ABSTRACT

We develop a latent variable model and an efficient spectral algorithm motivated by the recent emergence of very large data sets of chromatin marks from multiple human cell types. A natural model for chromatin data in one cell type is a Hidden Markov Model (HMM); we model the relationship between multiple cell types by connecting their hidden states by a fixed tree of known structure. The main challenge with learning parameters of such models is that iterative methods such as EM are very slow, while naive spectral methods result in time and space complexity exponential in the number of cell types. We exploit properties of the tree structure of the hidden states to provide spectral algorithms that are more computationally efficient for current biological datasets. We provide sample complexity bounds for our algorithm and evaluate it experimentally on biological data from nine human cell types. Finally, we show that beyond our specific model, some of our algorithmic ideas can be applied to other graphical models.

研究动机与目标

• 解决基于EM的算法在建模多个人类细胞类型的大型结构化HMM时计算不可行的问题。
• 克服将朴素谱方法应用于具有树状隐藏状态结构的HMM时所导致的时间与空间复杂度呈指数增长的问题。
• 开发一种计算高效、可扩展的谱算法，利用细胞谱系树的生物学知识，服务于比较表观基因组学研究。
• 在九个人类细胞类型的生物真实数据上，提供理论样本复杂度边界与实证验证。
• 通过可重用的算法组件（如Product Projections）将该方法推广至其他图模型。

提出的方法

• 模型为树状结构HMM，其中每个细胞类型的隐藏状态依赖于已知系统发育树中的父节点，各节点独立观测。
• 算法分别处理每条根到叶的路径，将问题简化为低深度路径上的张量分解。
• 引入Skeletensor构建，通过使用秩揭示矩阵对张量进行对称化，避免完整张量计算，将维度降低至单个节点的量级。
• 通过利用条件独立性，采用Product Projections压缩观测张量，避免完整张量构造，将复杂度降低至隐藏状态数量级别。
• 该方法使用张量分解与矩阵求逆技术，在满足弱秩条件的前提下，对转移矩阵与发射矩阵进行有界误差估计。
• 基于矩阵扰动理论推导理论保证，包括Weyl定理与Wedin定理，用于界定估计误差。

实验结果

研究问题

• RQ1 谱学习能否在多个生物样本中具有树状组织隐藏状态的大规模结构化HMM中实现可扩展性？
• RQ2 利用细胞谱系关系的树状结构是否能提升染色质状态分割的准确性与效率，相较于独立HMM或EM方法？
• RQ3 张量分解方法能否被适配以避免在多视角图模型中隐藏状态数量呈指数增长的复杂度？
• RQ4 在符合真实生物数据假设的前提下，所提出的谱算法的样本复杂度如何？
• RQ5 诸如Product Projections等核心算法创新能否推广至HMM以外的其他潜变量模型？

主要发现

• Spectral-Tree算法在细胞类型数量上实现多项式时间复杂度，避免了朴素谱方法的指数级膨胀。
• 在ENCODE数据库中九个人类细胞类型的实验中，该方法在分割准确率与参数估计方面均优于变分EM与独立HMM学习。
• 该算法提供了理论样本复杂度边界，表明在弱秩条件下，以高概率收敛至真实参数。
• Skeletensor构建将有效张量维度降低至单个节点的量级，实现高效计算且无需存储完整张量。
• Product Projections实现压缩张量估计，复杂度与隐藏状态数量成正比，而非观测数量，显著提升可扩展性。
• 实证结果表明，转移与发射概率的估计得到改善，且在适当的样本量条件下，误差边界处于ε量级。