[论文解读] The Sticky HDP-HMM: Bayesian Nonparametric Hidden Markov Models with Persistent States

Emily B. Fox, Erik B. Sudderth+2 more|arXiv (Cornell University)|May 15, 2009

Bayesian Methods and Mixture Models被引用 70

一句话总结

本文提出了一种贝叶斯非参数隐马尔可夫模型——Sticky HDP-HMM，通过引入状态转移中的持久性机制，减少了说话人分割中的过分割问题，实现了非参数发射建模，并通过截断狄利克雷过程近似实现了高效的采样。在标准NIST基准测试中，该方法达到了当前最先进的分割性能。

ABSTRACT

We consider the problem of speaker diarization, the problem of segmenting an audio recording of a meeting into temporal segments corresponding to individual speakers. The problem is rendered particularly difficult by the fact that we are not allowed to assume knowledge of the number of people participating in the meeting. To address this problem, we take a Bayesian nonparametric approach to speaker diarization that builds on the hierarchical Dirichlet process hidden Markov model (HDP-HMM) of Teh et al. [J. Amer. Statist. Assoc. 101 (2006) 1566--1581]. Although the basic HDP-HMM tends to over-segment the audio data---creating redundant states and rapidly switching among them---we describe an augmented HDP-HMM that provides effective control over the switching rate. We also show that this augmentation makes it possible to treat emission distributions nonparametrically. To scale the resulting architecture to realistic diarization problems, we develop a sampling algorithm that employs a truncated approximation of the Dirichlet process to jointly resample the full state sequence, greatly improving mixing rates. Working with a benchmark NIST data set, we show that our Bayesian nonparametric architecture yields state-of-the-art speaker diarization results.

研究动机与目标

• 为解决在会议中事先不知道说话人数量的情况下进行说话人分割的挑战。
• 减少HDP-HMM中常见的过分割问题，即频繁在冗余状态间切换。
• 在贝叶斯非参数框架下实现发射分布的非参数建模。
• 通过高效的采样算法，使模型能够扩展至实际的说话人分割任务，并提升混合率。
• 在标准说话人分割基准数据集上实现最先进性能。

提出的方法

• 通过引入具有持久性的粘性转移矩阵来增强HDP-HMM，以减少状态间的快速切换。
• 使用狄利克雷过程的截断近似，联合重采样完整状态序列，提升采样效率和混合率。
• 在状态转移矩阵上采用层次狄利克雷过程先验，以支持未知且无界的潜在状态数。
• 采用狄利克雷过程先验对发射分布进行非参数化处理，实现对说话人特征的灵活建模。
• 应用吉布斯采样策略，利用截断近似在单步中重采样整个状态序列。
• 利用狄利克雷过程的棒棒糖构造，实现非参数模型中可处理的推断。

实验结果

研究问题

• RQ1 通过强制实现状态持久性，能否使贝叶斯非参数HMM在说话人分割任务中对过分割问题更具鲁棒性？
• RQ2 在贝叶斯非参数HMM框架下，如何对发射分布实现非参数化建模以用于说话人分割？
• RQ3 能否在状态数未知且观测维度较高的非参数HMM中实现高效采样？
• RQ4 所提出的Sticky HDP-HMM是否在标准说话人分割基准上优于现有方法？
• RQ5 状态持久性对HDP-HMM中MCMC推断的混合率和收敛性有何影响？

主要发现

• Sticky HDP-HMM通过粘性转移矩阵显著减少了过分割，增强了状态的持续时间。
• 该模型支持非参数发射建模，能够灵活且基于数据地表示说话人特征。
• 截断狄利克雷过程近似使得完整状态序列的联合重采样更加高效，从而加快混合速度并改善收敛性。
• 在NIST SRE 2006基准测试中，所提模型实现了当前最先进的说话人分割性能。
• 该采样算法能有效扩展至真实世界的说话人分割任务，在模型复杂度较高的情况下仍保持高精度。
• 与标准HDP-HMM相比，Sticky HDP-HMM在分割准确性和对未知说话人数的鲁棒性方面均表现更优。