[论文解读] The fifth 'CHiME' Speech Separation and Recognition Challenge: Dataset, task and baselines

Jon Barker, Shinji Watanabe+2 more|arXiv (Cornell University)|Mar 28, 2018

Speech and Audio Processing被引用 5

一句话总结

本论文介绍了第五届CHiME语音分离与识别挑战赛，该赛事采用大规模真实家庭环境中自然对话语音数据集，使用6个Kinect麦克风阵列和4对双耳麦克风进行录制。挑战赛聚焦于混响、噪声环境下的远距离麦克风多说话人自动语音识别（ASR），基线模型表现存在显著性能差距（例如，Kinect上的词错误率（WER）为91.7%，而双耳麦克风上仅为47.9%），凸显了先进语音增强与鲁棒ASR技术的必要性。

ABSTRACT

The CHiME challenge series aims to advance robust automatic speech recognition (ASR) technology by promoting research at the interface of speech and language processing, signal processing , and machine learning. This paper introduces the 5th CHiME Challenge, which considers the task of distant multi-microphone conversational ASR in real home environments. Speech material was elicited using a dinner party scenario with efforts taken to capture data that is representative of natural conversational speech and recorded by 6 Kinect microphone arrays and 4 binaural microphone pairs. The challenge features a single-array track and a multiple-array track and, for each track, distinct rankings will be produced for systems focusing on robustness with respect to distant-microphone capture vs. systems attempting to address all aspects of the task including conversational language modeling. We discuss the rationale for the challenge and provide a detailed description of the data collection procedure, the task, and the baseline systems for array synchronization, speech enhancement, and conventional and end-to-end ASR.

研究动机与目标

• 推进在混响、噪声及远距离麦克风采集条件下真实家庭环境中鲁棒的自动语音识别（ASR）技术。
• 弥合实验室麦克风阵列录音与商用真实世界多麦克风系统之间的差距。
• 推动语音增强、阵列同步及重叠对话语音端到端ASR的研究。
• 提供标准化基准，包含单阵列与多阵列两个赛道，实现聚焦于声学鲁棒性或完整对话建模的系统间公平比较。
• 提供大规模、公开可获取的自然晚餐派对对话语音数据集，使用Kinect与双耳麦克风录制，支持可复现的研究。

提出的方法

• 数据采集自20个真实家庭，使用6个Kinect麦克风阵列和4对双耳麦克风，记录三类不同房间（厨房、餐厅、客厅）中的四人晚餐派对。
• 每场派对录制时长不少于2小时，包含三个阶段（厨房准备、用餐、客厅活动），确保自然、自发的言语与移动行为。
• 使用BeamformIt工具包对阵列信号进行同步，以对齐多个Kinect设备的信号。
• 在ASR解码前，应用波束成形技术进行语音增强，以提升信号质量。
• 传统ASR采用基于Kaldi的GMM与LF-MMI TDNN系统，端到端ASR则采用基于PyTorch与Chainer后端的混合CTC/注意力模型。
• 特征提取采用对数梅尔滤波器组与基频特征（共83维），并将数据处理为Kaldi与ESPnet兼容格式，用于训练与推理。

实验结果

研究问题

• RQ1 在真实家庭环境中，传统与端到端ASR系统在使用远距离麦克风阵列与双耳参考麦克风时，性能表现如何变化？
• RQ2 房间特定条件（如厨房噪声与说话人移动）对不同声学环境下ASR性能的影响如何？
• RQ3 语音增强技术能在多大程度上缩小参考双耳麦克风与挑战赛基线Kinect阵列之间的性能差距？
• RQ4 不同训练数据配置（如双耳数据与Kinect数据）对端到端ASR模型在低资源、噪声与混响环境下的泛化能力与鲁棒性有何影响？
• RQ5 在多麦克风、对话式设置中，阵列同步、波束成形与语言建模对整体ASR性能的相对贡献是什么？

主要发现

• 传统LF-MMI TDNN系统在Kinect阵列基线上达到91.7%的WER，而在双耳参考麦克风上仅为47.9%，表明存在43.8%的绝对性能差距。
• 端到端ASR系统在Kinect阵列上达到94.7%的WER，优于GMM基线（91.7%），但仍显著低于双耳参考麦克风的67.2% WER。
• 性能最差出现在厨房（87.3% WER），可能由于背景噪声高且说话人移动频繁。
• 双耳麦克风设置在传统GMM系统上达到72.8% WER，证明其作为系统评估的“理想参考”具有重要价值。
• 在双耳数据上训练的端到端模型优于GMM系统，表明即使训练数据有限，端到端方法仍具前景。
• 挑战赛基线结果表明，主要困难在于声源-麦克风距离与重叠语音，而不仅仅是噪声或混响本身。