[论文解读] Third DIHARD Challenge Evaluation Plan

Neville Ryant, Kenneth Church+4 more|arXiv (Cornell University)|Jun 4, 2020

Speech Recognition and Synthesis被引用 13

一句话总结

第三届DIHARD挑战赛评估计划概述了一场聚焦于具有挑战性的现实世界音频录音的说话人分割竞赛，包含两个赛道：一个使用参考语音活动检测（SAD）的赛道，另一个从原始音频中进行端到端分割的赛道。该计划引入了新的数据领域，包括对话式电话语音和扩展的临床录音，利用NIST的评分基础设施，并通过详细的系统描述和在核心及完整评估集上的标准化评估，强调可复现性，结果将于2021年1月在线研讨会上公布。

ABSTRACT

<pre>Evaluation plan for the the third DIHARD challenge.</pre>

研究动机与目标

• 通过提供来自真实环境的多样化、具有挑战性的音频数据集，推动说话人分割研究。
• 评估系统在参考SAD和从原始音频中端到端分割两种情况下的性能。
• 通过标准化评分、提交指南和详细的系统描述，确保可复现性和公平比较。
• 通过公开的评估平台和在线研讨会，促进协作与基准测试。
• 通过包含对话式电话语音和增强的临床数据，扩展以往挑战的范围，同时由于许可和领域特定挑战，排除儿童语音。

提出的方法

• 该挑战赛采用两个评估赛道：赛道1提供用于分割的参考语音活动检测（SAD），而赛道2要求系统从原始音频中自行执行SAD。
• 评估在两个数据集上进行：一个平衡的核心评估集和一个非平衡的完整评估集，两者均来自包括临床、电话、广播和会议录音在内的多样化领域。
• 评分通过NIST托管的网页界面进行，官方指标包括由标准化评分工具计算的分割错误率（DER）和联合错误率（JER）。
• 参赛者必须使用IEEE会议模板提交系统描述，详细说明数据资源、算法组件、超参数调优和硬件需求。
• 评估包括新的数据源，如来自Fisher英语Phase 2数据集的20小时此前未暴露的对话式电话语音和4小时新的临床音频。
• 所有提交均在核心和完整评估集上进行评分，结果在公开排行榜上展示，并在系统描述中报告。

实验结果

研究问题

• RQ1 在存在重叠语音和信号质量差的具有挑战性的现实世界音频中，分割系统的表现如何？
• RQ2 使用参考SAD的系统与从零开始执行SAD的系统之间，性能差距有多大？
• RQ3 引入对话式电话语音和扩展的临床录音如何影响系统的鲁棒性和泛化能力？
• RQ4 不同数据资源和模型架构在多大程度上促进了分割性能的提升？
• RQ5 在使用平衡与非平衡评估集时，评估指标的稳定性和可靠性如何？

主要发现

• 核心评估集确保了在各领域间性能测量的平衡，防止任一数据类型占据主导地位。
• 完整评估集包含来自CLINICAL和CTS领域的额外材料，提供了更大、更稳定的度量基线，但代价是领域不平衡。
• 该挑战赛引入了20小时的对话式电话语音和4小时新的临床录音，扩展了真实世界条件的多样性。
• 所有评估活动，包括注册、提交、评分和排行榜展示，均由NIST的OpenSAT平台统一管理，以确保一致性和可复现性。
• 系统描述必须包含详细的软硬件规格，以实现训练和推理设置的完全可复现。
• 评分使用标准化工具进行，计算DER和JER，结果在核心和完整评估集上均报告。