[论文解读] Speaker Independent Continuous Speech to Text Converter for Mobile Application

R. Sandanalakshmi, P. Abinaya Viji+3 more|arXiv (Cornell University)|Jul 19, 2013

Speech and Audio Processing参考文献 10被引用 6

一句话总结

本文提出了一种面向移动应用的、与说话人无关的连续语音转文本转换器，通过结合能量和过零率的混合VAD实现鲁棒的噪声抑制，采用MFCC进行特征提取，并利用广义回归神经网络（GRNN）进行识别。该系统仅需极小的用户特定音节数据库即可实现接近100%的准确率，能够在计算资源受限的设备（如手机和PDA）上实现实时部署。

ABSTRACT

An efficient speech to text converter for mobile application is presented in this work. The prime motive is to formulate a system which would give optimum performance in terms of complexity, accuracy, delay and memory requirements for mobile environment. The speech to text converter consists of two stages namely front-end analysis and pattern recognition. The front end analysis involves preprocessing and feature extraction. The traditional voice activity detection algorithms which track only energy cannot successfully identify potential speech from input because the unwanted part of the speech also has some energy and appears to be speech. In the proposed system, VAD that calculates energy of high frequency part separately as zero crossing rate to differentiate noise from speech is used. Mel Frequency Cepstral Coefficient (MFCC) is used as feature extraction method and Generalized Regression Neural Network is used as recognizer. MFCC provides low word error rate and better feature extraction. Neural Network improves the accuracy. Thus a small database containing all possible syllable pronunciation of the user is sufficient to give recognition accuracy closer to 100%. Thus the proposed technique entertains realization of real time speaker independent applications like mobile phones, PDAs etc.

研究动机与目标

• 开发一种适用于移动平台、计算和内存开销极低的实时高效语音转文本转换器。
• 通过结合能量和过零率改进语音活动检测（VAD），以更准确地区分语音与噪声。
• 在与说话人无关的场景下，仅使用极少的用户特定训练数据，实现高识别准确率。
• 通过优化复杂度和低延迟，实现智能手机和PDA等移动设备上的实际部署。

提出的方法

• 采用双指标VAD，在高频分量中同时分析能量和过零率，以增强噪声区分能力。
• 使用梅尔频率倒谱系数（MFCC）进行鲁棒且紧凑的语音特征提取。
• 应用广义回归神经网络（GRNN）作为模式识别引擎，实现高精度分类。
• 将系统设计为两个阶段：前端预处理与特征提取，随后使用GRNN进行模式识别。
• 将所需训练数据库减少至每位用户可能的全部音节发音，最大限度降低存储需求。
• 对整个处理流程进行优化，以实现低延迟和低内存消耗，适配移动设备部署。

实验结果

研究问题

• RQ1 能否在计算资源极低的移动设备上高效实现与说话人无关的连续语音转文本系统？
• RQ2 如何改进语音活动检测以减少在嘈杂环境中的误报？
• RQ3 在训练数据有限的情况下，MFCC与GRNN联合使用能在多大程度上提升识别准确率？
• RQ4 实现接近100%识别准确率所需的最小用户特定训练数据库大小是多少？
• RQ5 在移动硬件限制下，系统能否保持实时性能？

主要发现

• 所提出的VAD方法通过在高频带使用过零率，有效区分语音与背景噪声，优于传统的仅基于能量的方法。
• 基于MFCC的特征提取显著降低了词错误率，增强了识别鲁棒性。
• 基于GRNN的识别器仅使用少量用户特定音节级数据库，即可实现接近100%的识别准确率。
• 该系统表现出极低的计算复杂度和内存占用，适合实时移动设备部署。
• 增强VAD、MFCC与GRNN的集成，实现了在移动平台上可靠且与说话人无关的连续语音识别。