[论文解读] Spectral dimensionality reduction for HMMs

Dean P. Foster, Jordan Rodu+1 more|arXiv (Cornell University)|Mar 28, 2012

Bayesian Methods and Mixture Models参考文献 11被引用 20

一句话总结

该论文提出了一种用于隐马尔可夫模型（HMMs）的谱降维方法，用依赖于投影观测 $y = U^T \delta_x$ 的低秩张量 $C(y)$ 替代 Hsu 等人（2009）的高参数张量 $B_x$，将模型参数从 $m^2v$ 减少至 $m^3$。该方法实现了与词汇表大小 $v$ 无关的样本复杂度，且相对误差的理论界仅依赖于可检验的数据条件和协方差矩阵的最小奇异值 $ \sigma_m$。

ABSTRACT

Hidden Markov Models (HMMs) can be accurately approximated using co-occurrence frequencies of pairs and triples of observations by using a fast spectral method in contrast to the usual slow methods like EM or Gibbs sampling. We provide a new spectral method which significantly reduces the number of model parameters that need to be estimated, and generates a sample complexity that does not depend on the size of the observation vocabulary. We present an elementary proof giving bounds on the relative accuracy of probability estimates from our model. (Correlaries show our bounds can be weakened to provide either L1 bounds or KL bounds which provide easier direct comparisons to previous work.) Our theorem uses conditions that are checkable from the data, instead of putting conditions on the unobservable Markov transition matrix.

研究动机与目标

• 减少谱HMM估计中的模型参数数量，特别是在观测词汇表 $v$ 较大的情况下。
• 消除样本复杂度对观测词汇表大小 $v$ 的依赖。
• 开发一种理论误差界仅依赖于可观测数据条件而非不可观测的转移矩阵的方法。
• 通过仅使用可检验的数据条件，简化并强化谱HMM学习的理论分析。

提出的方法

• 使用 $y = U^T \delta_x$ 将高维观测 $x$ 投影到低维空间，其中 $U$ 来自二元组共现矩阵的SVD。
• 用仅含 $m^3$ 个参数的张量 $C(y)$ 替代原始的 $m^2v$ 参数张量 $B_x$，该张量作用于投影后的观测 $y$。
• 通过三元组频率的矩方法估计充分统计量 $\mu = E(y_1)$、$\Sigma = E(y_2 y_1^T)$ 和 $K(a) = E(y_3 y_1^T y_2^T a)$。
• 利用估计的 $c_1 = \mu$、$c_\infty^\top = \mu^\top \Sigma^{-1}$ 和 $C(y) = K(y) \Sigma^{-1}$，通过递归矩阵乘积计算序列概率。
• 通过估计似然比 $\lambda_q(x_{1:t}) = \frac{Pr(x_{1:t})}{P_1(x_1)\cdots P_1(x_t)}$ 而非原始概率，提升数值稳定性。
• 使用 $ Sigma$ 和 $ \sigma_m$（即 $ Sigma$ 的最小奇异值）的可检验数据条件来界定相对误差，而非依赖于不可观测的转移矩阵。

实验结果

研究问题

• RQ1 通过将参数数量从 $m^2v$ 降低到 $m^3$，能否使谱HMM估计更高效？
• RQ2 在使用降维时，谱HMM学习的样本复杂度是否不再依赖于观测词汇表大小 $v$？
• RQ3 能否仅基于可检验的数据条件而非对不可观测转移矩阵的假设，推导出理论误差界？
• RQ4 协方差矩阵 $ Sigma$ 的最小奇异值 $ sigma_m$ 如何影响HMM的可识别性与样本复杂度？
• RQ5 通过使用似然比而非原始概率，能否缓解概率估计中的数值不稳定性？

主要发现

• 所提方法将需估计的参数数量从 $m^2v$ 减少至 $m^3$，当 $v \gg m$ 时实现显著降低。
• 模型的样本复杂度关键取决于协方差矩阵 $ Sigma$ 的最小奇异值 $ sigma_m$，$ sigma_m$ 越小则所需样本量越大。
• 实证结果表明，模型中的最小参数 $ Lambda$ 随 $m$ 呈幂律下降（斜率 ≈ -6），$ hat{\sigma}_m$ 的下降斜率约为 -3.2，表明随着 $m$ 增大，识别难度增加。
• 理论误差界仅基于 $ Sigma$ 和 $ sigma_m$ 的可检验数据条件推导得出，优于以往依赖不可观测转移矩阵假设的工作。
• 使用似然比而非原始概率可提升数值稳定性，并在高维设置下增强相对精度。
• 该方法在简化证明的同时保持理论保证，并可推导出L1和KL界作为推论，使与先前方法的直接比较成为可能。