[论文解读] Speech-Driven Text Retrieval: Using Target IR Collections for Statistical Language Model Adaptation in Speech Recognition

Atsushi Fujii, Itou, Katunobu+1 more|ArXiv.org|Jun 24, 2002

Speech Recognition and Synthesis被引用 5

一句话总结

本文提出通过将统计语言模型适配至目标信息检索（IR）语料库，实现语音识别与文本检索的融合，显著提升语音识别准确率与检索性能。通过利用领域特定的IR语料库定制语言模型，该方法降低了词错误率与术语错误率，在语音驱动查询中实现高达80%的文本到文本检索性能。

ABSTRACT

Speech recognition has of late become a practical technology for real world applications. Aiming at speech-driven text retrieval, which facilitates retrieving information with spoken queries, we propose a method to integrate speech recognition and retrieval methods. Since users speak contents related to a target collection, we adapt statistical language models used for speech recognition based on the target collection, so as to improve both the recognition and retrieval accuracy. Experiments using existing test collections combined with dictated queries showed the effectiveness of our method.

研究动机与目标

• 解决因语言模型不匹配导致语音驱动文本检索中语音识别准确率低下的问题。
• 探究利用目标IR语料库对语言模型进行适配是否能同时提升语音识别与检索性能。
• 通过利用领域特定的语言建模，降低口语查询中的词错误率（WER）与术语错误率（TER）。
• 评估在真实世界测试语料库（如NTCIR-1与NTCIR-2）上使用语言模型适配有效性的方法。
• 探索利用排名靠前文档进行在线适配的潜力，以进一步优化检索结果。

提出的方法

• 系统采用两阶段检索架构：首先，使用整个目标IR语料库离线适配语言模型，以提升语音识别准确率。
• 语音识别模块结合离线声学模型与基于目标语料库生成的在线适配语言模型。
• 对于在线适配，利用初始检索结果中的排名靠前文档生成局部语言模型，以优化识别与检索过程。
• 该方法采用标准的统计语言建模技术，模型适配基于从目标语料库中提取的n-gram概率。
• 系统使用NTCIR测试语料库中的语音输入查询，通过平均精度（AP）、词错误率（WER）与术语错误率（TER）评估性能。
• 该方法整合语音识别与文本检索模块，将第一阶段的输出作为两阶段检索流水线中迭代优化的输入。

实验结果

研究问题

• RQ1 将统计语言模型适配至目标IR语料库，是否能提升语音驱动文本检索中的语音识别准确率？
• RQ2 基于领域特定语料库的语言模型适配是否能降低词错误率（WER）与术语错误率（TER）？
• RQ3 在使用适配后的语言模型时，语音驱动检索的性能与文本到文本检索相比如何？
• RQ4 利用排名靠前文档进行在线适配在多大程度上提升了检索准确率？
• RQ5 语言模型适配的效果在不同说话人与查询类型中是否具有一致性？

主要发现

• 与基于报纸的模型相比，基于NTCIR的语料库语言模型将词错误率（WER）降低了15–20%，术语错误率（TER）降低了10–20%。
• 在使用基于NTCIR的语料库语言模型时，语音驱动查询的最佳检索性能达到了文本到文本检索平均精度（AP）的80%。
• 无论说话人性别如何，该方法在所有测试条件下均显著优于基于报纸的语料库语言模型。
• 术语错误率（TER）始终高于词错误率（WER），表明查询中的内容词比功能词更容易被误识别。
• 词汇表外（OOV）问题是识别错误的主要原因，尤其当关键查询词被错误识别时影响显著。
• 查全率-查准率曲线证实，基于NTCIR的模型在所有查全率水平下均持续优于基于报纸的模型。