[论文解读] THCHS-30 : A Free Chinese Speech Corpus

Dong Wang, Xuewei Zhang|arXiv (Cornell University)|Dec 7, 2015

Speech Recognition and Synthesis参考文献 12被引用 190

一句话总结

本文介绍了 THCHS-30，一个免费的 30 小时中文语音语料库，旨在降低语音识别研究的入门门槛。论文提出了一种基于深度神经网络（DNN）的自动语音识别（ASR）基线模型，并利用深度自编码器（DAE）实现端到端的实时噪声抑制，显著提升了在噪声环境下的词错误率（CER）表现——例如，在白噪声环境下，CER 从 96.44% 降低至 75.01%。

ABSTRACT

Speech data is crucially important for speech recognition research. There are quite some speech databases that can be purchased at prices that are reasonable for most research institutes. However, for young people who just start research activities or those who just gain initial interest in this direction, the cost for data is still an annoying barrier. We support the `free data' movement in speech recognition: research institutes (particularly supported by public funds) publish their data freely so that new researchers can obtain sufficient data to kick of their career. In this paper, we follow this trend and release a free Chinese speech database THCHS-30 that can be used to build a full- edged Chinese speech recognition system. We report the baseline system established with this database, including the performance under highly noisy conditions.

研究动机与目标

• 解决商业语音数据库成本高昂的问题，以降低早期研究者及发展中国家研究人员的参与门槛。
• 通过发布公开可用、高质量的中文语音语料库，支持‘开放数据’运动。
• 使研究人员能够仅使用免费资源从零开始构建完整的中文语音识别系统。
• 提供在干净语音与噪声语音条件下的基线性能指标，作为未来研究的参考基准。
• 证明基于 DAE 的噪声抑制方法在不重新训练声学模型的前提下，可有效提升 ASR 的鲁棒性。

提出的方法

• THCHS-30 语料库由 30 名母语为普通话的发音人朗读各 1000 个句子构成，涵盖多样的语音与词汇内容，以最大化音素覆盖范围。
• 音频以 16 kHz 采样率、16 位 PCM 格式录制，转录内容经人工校对以确保高准确性。
• 采用标准特征（Fbank）、特征拼接、线性判别分析（LDA）和全局归一化方法，训练基于 DNN 的声学模型。
• 将深度自编码器（DAE）作为前端噪声消除器，通过在随机信噪比（SNR）水平（以 0 dB 为中心）下从含噪输入重建干净 Fbank 特征进行训练。
• DAE 在合成的含噪数据上进行端到端训练，这些数据通过将干净语音与真实噪声样本（如汽车、咖啡厅、白噪声）混合生成。
• 将 DAE 的输出作为 DNN 模型的输入，替代标准 Fbank 特征，从而在不重新训练主模型的前提下实现实时噪声抑制。

实验结果

研究问题

• RQ1 一个免费且公开可用的中文语音语料库是否足以支持构建实用的端到端语音识别系统？
• RQ2 基于 DNN 的 ASR 系统在 THCHS-30 语料库的干净与噪声环境下表现如何？
• RQ3 在不重新训练声学模型的前提下，基于 DAE 的噪声抑制方法在未见噪声类型上能将 ASR 性能提升多少？
• RQ4 语料库中包含高度异常或复杂句式是否显著降低识别性能？该问题是否可被缓解？
• RQ5 轻量级、针对特定噪声的 DAE 是否能在真实噪声环境中有效提升系统鲁棒性？

主要发现

• THCHS-30 是首个免费、大规模的中文语音数据库，适用于构建完整的 ASR 系统，包含 30 名说话人共 30 小时的转录语音。
• 在干净语音条件下，DNN 基线模型的词错误率（CER）为 30.11%，音素错误率（PER）为 14.81%，表明基线性能强劲。
• 在严重污染的白噪声环境（0 dB SNR）下，未使用噪声抑制时 CER 高达 96.44%，凸显系统在极端噪声下的脆弱性。
• 应用基于 DAE 的噪声抑制后，白噪声环境下的 CER 降至 75.01%，汽车噪声环境下的 CER 降至 32.13%，显著提升了鲁棒性。
• DAE 方法在计算开销极小的情况下有效降低了噪声干扰，且无需重新训练主 DNN 模型。
• 在干净语音上性能下降的原因归因于语料库中较高的语音多样性与异常句式结构，对标准声学模型构成挑战。