[论文解读] Simultaneous Speech Recognition and Speaker Diarization for Monaural Dialogue Recordings with Target-Speaker Acoustic Models

Naoyuki Kanda, Shota Horiguchi+4 more|arXiv (Cornell University)|Sep 17, 2019

Speech Recognition and Synthesis参考文献 45被引用 6

一句话总结

本文提出一种用于单耳对话录音的迭代方法，实现无需先验说话人知识的同步语音识别与说话人分割。通过交替估计说话人嵌入并基于估计的嵌入执行目标说话人自动语音识别（TS-ASR），该方法将词错误率（WER）降低至接近原始TS-ASR的2.1%以内，并实现了24.63%的分割错误率（DER），优于传统的基于i-vector聚类的分割方法。

ABSTRACT

This paper investigates the use of target-speaker automatic speech recognition (TS-ASR) for simultaneous speech recognition and speaker diarization of single-channel dialogue recordings. TS-ASR is a technique to automatically extract and recognize only the speech of a target speaker given a short sample utterance of that speaker. One obvious drawback of TS-ASR is that it cannot be used when the speakers in the recordings are unknown because it requires a sample of the target speakers in advance of decoding. To remove this limitation, we propose an iterative method, in which (i) the estimation of speaker embeddings and (ii) TS-ASR based on the estimated speaker embeddings are alternately executed. We evaluated the proposed method by using very challenging dialogue recordings in which the speaker overlap ratio was over 20%. We confirmed that the proposed method significantly reduced both the word error rate (WER) and diarization error rate (DER). Our proposed method combined with i-vector speaker embeddings ultimately achieved a WER that differed by only 2.1 % from that of TS-ASR given oracle speaker embeddings. Furthermore, our method can solve speaker diarization simultaneously as a by-product and achieved better DER than that of the conventional clustering-based speaker diarization method based on i-vector.

研究动机与目标

• 解决在单耳、重叠语音对话中同步自动语音识别（ASR）与说话人分割的挑战。
• 通过实现无需说话人先验知识的说话人无关操作，克服目标说话人ASR（TS-ASR）的局限性。
• 在高重叠对话录音中，同时提升ASR准确率与说话人分割性能。
• 仅使用i-vector说话人嵌入实现鲁棒性能，并具备扩展至更具判别性的嵌入的潜力。

提出的方法

• 提出一种迭代算法，交替进行说话人嵌入估计与基于估计嵌入的TS-ASR推理。
• 通过整个录音的i-vector聚类初始化说话人嵌入，实现无需说话人先验知识的起始状态。
• 利用TS-ASR为每个估计的说话人嵌入生成词假设与时间对齐转录。
• 根据ASR输出更新说话人嵌入，迭代优化说话人表征。
• 应用严格的静音过滤（排除<0.5秒的静音段），以提升嵌入纯净度并减少误报。
• 利用ASR生成的帧级时间对齐，提取说话人发言的起止时间，实现端到端的分割。

实验结果

研究问题

• RQ1 TS-ASR能否在缺乏说话人身份先验知识的单耳对话录音中实现有效应用？
• RQ2 通过迭代优化说话人嵌入与TS-ASR，能否在高重叠场景下同时提升WER与DER？
• RQ3 与基于i-vector的常规聚类分割方法相比，所提方法在DER与WER方面表现如何？
• RQ4 说话人嵌入的质量在多大程度上影响最终的ASR与分割性能？

主要发现

• 所提方法实现了39.03%的词错误率（WER），仅比使用理想说话人嵌入的原始TS-ASR（WER为37.96%）高出2.1%。
• 该方法将分割错误率（DER）降低至24.63%，显著优于基线i-vector聚类方法（32.37% DER）。
• 在不同性别配对中，该方法产生近乎零的混淆与误报错误，表明说话人追踪具有保守性与可靠性。
• 尽管训练数据较少，该方法的DER低于传统i-vector聚类方法，并接近基于x-vector的AHC方法。
• 实验表明，利用ASR生成的转录文本来优化说话人嵌入，可获得比使用真实转录分割（包含噪声静音帧）更纯净的嵌入。