[论文解读] Visual Speech Language Models

Helen L. Bear|arXiv (Cornell University)|Jan 1, 2018

Speech and Audio Processing参考文献 8被引用 2

一句话总结

本文使用 RMAV 数据集评估了视觉语音语言模型中 viseme、音素和词单位在唇读系统中的表现。研究发现，基于音素的语言模型显著优于基于 viseme 的模型，而基于词的语言模型在缺乏大规模数据的情况下表现无效；音素单位在准确性和可解释性之间提供了最佳平衡，适用于视觉语音识别。

ABSTRACT

Language models (LM) are very powerful in lipreading systems. Language models built upon the ground truth utterances of datasets learn grammar and structure rules of words and sentences (the latter in the case of continuous speech). However, visual co-articulation effects in visual speech signals damage the performance of visual speech LM's as visually, people do not utter what the language model expects. These models are commonplace but while higher-order N-gram LM's may improve classification rates, the cost of this model is disproportionate to the common goal of developing more accurate classifiers. So we compare which unit would best optimize a lipreading (visual speech) LM to observe their limitations. We compare three units; visemes (visual speech units) \cite{lan2010improving}, phonemes (audible speech units), and words.

研究动机与目标

• 探究不同语言单位（viseme、音素和词）对视觉语音语言模型性能的影响。
• 解决视觉连音效应导致唇读系统性能下降的挑战。
• 确定构建高效视觉语音语言模型的最佳单位，以提升准确性和可解释性。
• 评估高阶语言模型是否能够弥补视觉语音单位的局限性。
• 通过识别视觉语音识别中语言建模最稳健的单位，为未来唇读系统的发展提供指导。

提出的方法

• 基于 RMAV 音视频语音数据集中 12 名说话人的主动外观模型特征，使用 HTK 工具包构建传统唇读系统。
• 采用三种不同的标注方案：viseme（说话人相关）、音素（IPA）和词（真实标签）作为分类器单位。
• 基于三种单位（viseme、音素、词）构建语言模型，并将它们与不同分类器单位配对用于解码。
• 应用隐马尔可夫模型（HMM）进行分类，语言模型用于后分类解码以提高词的正确性。
• 通过所有 12 名说话人的词正确率（Cw）评估性能，报告标准误差。
• 比较分类器单位与语言模型单位的组合，以隔离每种单位选择对识别准确率的影响。

实验结果

研究问题

• RQ1 在视觉语音语言模型中，viseme、音素和词单位在词正确率（Cw）方面如何比较？
• RQ2 尽管视觉语音与听觉语音之间存在不匹配，基于音素的语言模型是否仍能显著提升性能，优于基于 viseme 的模型？
• RQ3 为何基于词的分类器在视觉语音识别中表现不佳？在何种数据条件下它们可能变得可行？
• RQ4 基于词的语言模型能否补偿次优分类器单位（如 viseme 或音素）的缺陷？
• RQ5 哪种分类器与语言模型单位的组合能产生最稳健且可解释的唇读系统？

主要发现

• 基于 viseme 的语言模型词正确率最低，仅为 0.02 ± 0.0063，表明其性能差，主要由于同音词混淆和视觉连音效应的影响。
• 当与 viseme 或音素分类器配对时，基于音素的语言模型将词正确率提升至 0.19 ± 0.0036，相较于基于 viseme 的模型表现出显著的统计学优势。
• 当与 viseme 分类器配对时，基于词的分类器表现欠佳，平均 Cw 为 0.09，原因是词空间过大（>1000 个类别）导致每类训练样本不足。
• 当与基于词的语言模型配对时，音素分类器的 Cw 达到 0.20 ± 0.0043，优于五名说话人的 viseme 分类器，表明词级语言建模具有强大优势。
• 音素分类器与词语言模型的组合实现了最高的平均 Cw（0.20），表明词级语言模型能够缓解跨语音空间的翻译错误。
• 尽管基于音素的输出准确率较高，但其本身不可直接解释；因此，在具备足够训练数据的前提下，基于词的模型更适合实际部署。