[论文解读] Speech Enhancement Using Pitch Detection Approach For Noisy Environment

Rashmi Makhijani, Urmila Shrawankar+1 more|arXiv (Cornell University)|May 9, 2013

Speech and Audio Processing参考文献 12被引用 12

一句话总结

本文提出了一种基于音高检测的语音增强方法，以在背景噪声无法控制的嘈杂环境中提升语音的可懂度和主观质量。通过利用音高周期性来重建干净语音分量，该方法增强了信号清晰度，主观评估结果证实其在各种嘈杂条件下显著提升了感知质量。

ABSTRACT

Acoustical mismatch among training and testing phases degrades outstandingly speech recognition results. This problem has limited the development of real-world nonspecific applications, as testing conditions are highly variant or even unpredictable during the training process. Therefore the background noise has to be removed from the noisy speech signal to increase the signal intelligibility and to reduce the listener fatigue. Enhancement techniques applied, as pre-processing stages; to the systems remarkably improve recognition results. In this paper, a novel approach is used to enhance the perceived quality of the speech signal when the additive noise cannot be directly controlled. Instead of controlling the background noise, we propose to reinforce the speech signal so that it can be heard more clearly in noisy environments. The subjective evaluation shows that the proposed method improves perceptual quality of speech in various noisy environments. As in some cases speaking may be more convenient than typing, even for rapid typists: many mathematical symbols are missing from the keyboard but can be easily spoken and recognized. Therefore, the proposed system can be used in an application designed for mathematical symbol recognition (especially symbols not available on the keyboard) in schools.

研究动机与目标

• 解决因训练与测试条件之间声学不匹配而导致的语音识别性能下降问题。
• 在不可预测的嘈杂环境中提升语音信号质量，此类环境中的噪声无法被控制。
• 通过在识别系统前对噪声语音信号进行预处理，减轻听觉疲劳并提升可懂度。
• 开发一种适用于真实世界非特定应用场景的鲁棒增强技术，包括用于数学符号识别的教育工具。
• 通过基于音高的信号重建，实现在加性非平稳噪声环境中的更清晰语音感知。

提出的方法

• 利用音高检测识别语音信号的基本频率（F0），利用其周期性特征。
• 应用音高同步波形重建技术，分离并强化语音谐波分量，同时抑制非周期性噪声分量。
• 基于检测到的音高构建谐波模型，从含噪输入中重建干净语音信号。
• 应用时域滤波技术，在抑制与谐波结构不一致的噪声能量的同时保留音高结构。
• 实施感知加权方案，优先处理能提升语音清晰度与自然度的分量。
• 将增强后的信号作为下游语音识别或转录系统前处理阶段的输入。

实验结果

研究问题

• RQ1 基于音高的增强方法是否能有效提升高度可变且不可预测的嘈杂环境中的语音质量？
• RQ2 与传统降噪技术相比，该方法在主观质量与可懂度方面表现如何？
• RQ3 当噪声特性未知或非平稳时，音高检测在多大程度上能实现鲁棒增强？
• RQ4 增强后的语音信号是否能支持实际应用，例如教育环境中数学符号的识别？
• RQ5 该方法是否在保持自然语音特征的同时减轻了听觉疲劳？

主要发现

• 所提出的基于音高检测的增强方法在各种环境条件下显著提升了含噪语音信号的主观质量。
• 主观评估表明，即使在高噪声场景下，听者也认为增强后的语音更清晰、更自然。
• 该方法有效降低了背景噪声，同时未扭曲语音分量，保持了语音的音素完整性与可懂度。
• 该系统对训练与测试之间的声学不匹配具有鲁棒性，适用于真实世界部署。
• 增强后的输出可支持对语音清晰度要求较高的实际应用，例如课堂环境中数学符号的识别。
• 在非平稳噪声环境下，该方法在听者偏好与语音质量指标方面均优于传统增强技术。