[论文解读] The impact of non-target events in synthetic soundscapes for sound event detection

Ronchini, Francesca, Serizel, Romain+2 more|arXiv (Cornell University)|Sep 28, 2021

Noise Effects and Management被引用 4

一句话总结

本文研究了在合成声音场景中非目标声音事件对声音事件检测（SED）的影响，表明在训练阶段包含这些非目标事件（而在验证阶段排除）可提升检测性能，优于基线方法中在训练和验证阶段均使用非目标事件的设置。最佳结果在目标-非目标信噪比（TNTSNR）为10 dB时取得，且在训练中引入非目标事件可降低仅含非目标事件片段中的误报率。

ABSTRACT

Detection and Classification Acoustic Scene and Events Challenge 2021 Task 4 uses a heterogeneous dataset that includes both recorded and synthetic soundscapes. Until recently only target sound events were considered when synthesizing the soundscapes. However, recorded soundscapes often contain a substantial amount of non-target events that may affect the performance. In this paper, we focus on the impact of these non-target events in the synthetic soundscapes. Firstly, we investigate to what extent using non-target events alternatively during the training or validation phase (or none of them) helps the system to correctly detect target events. Secondly, we analyze to what extend adjusting the signal-to-noise ratio between target and non-target events at training improves the sound event detection performance. The results show that using both target and non-target events for only one of the phases (validation or training) helps the system to properly detect sound events, outperforming the baseline (which uses non-target events in both phases). The paper also reports the results of a preliminary study on evaluating the system on clips that contain only non-target events. This opens questions for future work on non-target subset and acoustic similarity between target and non-target events which might confuse the system.

研究动机与目标

• 研究在合成声音场景中引入非目标事件对SED系统性能的影响。
• 确定在训练、验证或两者中均使用非目标事件时，哪种设置能提升检测准确率。
• 分析目标-非目标信噪比（TNTSNR）对SED性能的影响。
• 评估仅含非目标事件片段中的误报率，以识别目标事件与非目标事件之间潜在的声学混淆。
• 探讨非目标事件的分布与共现对模型泛化能力和鲁棒性的影响。

提出的方法

• 使用Scaper生成合成声音场景，通过受控的时间安排与空间化处理，整合孤立的目标事件与非目标事件。
• 评估了三种训练配置：仅使用目标事件、在训练中同时使用目标与非目标事件，以及仅在验证中使用非目标事件。
• 在训练过程中系统性地改变信噪比（TNTSNR），以评估其对检测性能的影响。
• 对仅含非目标事件的片段进行了初步评估，以测量各类别的误报检测率。
• 使用DESED数据集进行模型训练与验证，性能通过标准SED指标（如F1分数与等错误率EER）进行衡量。
• 所有实验均基于DCASE 2021 Task 4的基线系统开展，代码与预训练模型已公开发布，以确保可复现性。

实验结果

研究问题

• RQ1 与仅在验证中使用非目标事件或完全不使用相比，在训练中引入非目标事件是否能提升声音事件检测性能？
• RQ2 为最大化SED性能，训练合成声音场景时最优的目标-非目标信噪比（TNTSNR）是多少？
• RQ3 当非目标事件在训练中被使用时，仅含非目标事件片段中的误报检测率如何变化？
• RQ4 目标事件与非目标事件之间的声学相似性在多大程度上导致模型混淆与误报？
• RQ5 非目标事件的分布与共现情况在多大程度上影响SED模型的泛化能力与鲁棒性？

主要发现

• 仅在训练中使用非目标事件（而不在验证中使用）的设置，其检测性能优于基线方法（该基线在训练与验证中均使用非目标事件）。
• 在训练中采用10 dB的TNTSNR时，整体性能最佳，优于更低或更高的信噪比设置。
• 在训练中引入非目标事件可显著降低仅含非目标事件片段中的误报率，尤其在Dishes和Speech等类别中表现明显。
• 当非目标事件未被纳入训练时，系统在仅含非目标事件的片段中表现出更高的误报率，表明其鲁棒性下降。
• 结果表明，合成与真实声音场景之间TNTSNR不匹配可能是性能下降的原因之一，尽管并非唯一因素。
• 某些类别（如Dishes）的原始事件分布与误报率之间存在显著差异，提示可能存在声学混淆，需进一步研究。