[论文解读] The VOiCES from a Distance Challenge 2019 Evaluation Plan

Mahesh Kumar Nandwana, Julien van Hout+4 more|arXiv (Cornell University)|Feb 27, 2019

Speech Recognition and Synthesis参考文献 8被引用 34

一句话总结

VOiCES from a Distance Challenge 2019 评估计划在远距/嘈杂音频上为说话人识别和自动语音识别（ASR）设定任务，具固定/开放训练条件、开发/评估数据集、具体的主要指标和基于 llr 的指标，以及 Interspeech 2019 特别会议的提交规则。

ABSTRACT

The "VOiCES from a Distance Challenge 2019" is designed to foster research in the area of speaker recognition and automatic speech recognition (ASR) with the special focus on single channel distant/far-field audio, under noisy conditions. The main objectives of this challenge are to: (i) benchmark state-of-the-art technology in the area of speaker recognition and automatic speech recognition (ASR), (ii) support the development of new ideas and technologies in speaker recognition and ASR, (iii) support new research groups entering the field of distant/far-field speech processing, and (iv) provide a new, publicly available dataset to the community that exhibits realistic distance characteristics.

研究动机与目标

• 在嘈杂环境下促进 distant/far-field 说话人识别和 ASR 的进展。
• 使用 VOiCES 语料库在真实混响和背景噪声下对最新技术进行基准测试。
• 提供公开可用的数据集和一个框架，以在固定/开放训练条件下公平比较系统。
• 鼓励新研究者与团队参与并提交描述和分析以供发表。
• 交付评估数据发布（阶段2）并在 Interspeech 2019 召集特別会议。

提出的方法

• 定义两个任务：说话人识别和自动语音识别（ASR）。
• 为每个任务指定训练条件：固定（有限的公开数据）和开放（任意数据）。
• 提供来自 VOiCES 语料库、含混响和噪声的开发数据和评估数据。
• 在说话人识别评估中使用主要探测成本度量 C_det 和替代的 C_llr。
• 使用每个测试样本的 LLR 来对说话人识别进行评分，使用 WER 对 ASR 进行评分，并配套标准化评分脚本。
• 要求 ASR 转录为 CTM 格式，并为说话人识别提交提供基于 LLR 的评分文件。

实验结果

研究问题

• RQ1 在具真实混响和背景噪声的远距/远场语音上，最先进系统的表现如何？
• RQ2 训练数据限制（固定 vs 开放）对说话人识别和 ASR 性能的影响是什么？
• RQ3 在说话人识别的不同工作点上，校准指标（C_llr）如何比较？
• RQ4 VOiCES 数据集能揭示系统对麦克风、房间和干扰变量的鲁棒性吗？

主要发现

• 该计划引入两个任务（说话人识别和 ASR），并设定固定与开放训练条件来基准系统。
• 它采用类似于 NIST SRE 的主要说话人识别指标（C_det）以及基于 llr 的替代指标（C_llr）用于校准分析。
• ASR 性能以 Word-Error Rate（WER）进行评估，使用 SCTK 评分，与 NIST OPENSAT-17 评估相仿。
• 阶段2数据将 VOiCES 扩展为在多样的混响环境中超过 310k 的音频文件。
• 参与者必须按条件提交系统输出，使用标准命名和 CTM/LLR 格式，并提供用于会议发表的系统描述。