[论文解读] Sound Event Detection of Weakly Labelled Data with CNN-Transformer and Automatic Threshold Optimization

Qiuqiang Kong, Yong Xu+2 more|View|Dec 10, 2019

Music and Audio Processing参考文献 47被引用 5

一句话总结

本文提出一种用于弱标签音频数据声事件检测（SED）的CNN-Transformer模型，结合片段级训练与自动阈值优化方法以提升性能。该方法通过两阶段过程优化阈值，在DCASE 2017任务中实现音tag（AT）F1分数0.646和SED F1分数0.584的最先进水平，优于经验阈值法与先前方法。

ABSTRACT

Sound event detection (SED) is a task to detect sound events in an audio recording. One challenge of the SED task is that many datasets such as the Detection and Classification of Acoustic Scenes and Events (DCASE) datasets are weakly labelled. That is, there are only audio tags for each audio clip without the onset and offset times of sound events. \qk{We compare segment-wise and clip-wise training for SED that is lacking in previous works. We propose a convolutional neural network transformer (CNN-Transfomer) for audio tagging and SED, and show that CNN-Transformer performs similarly to a convolutional recurrent neural network (CRNN)}. Another challenge of SED is that thresholds are required for detecting sound events. Previous works set thresholds empirically, and are not an optimal approaches. To solve this problem, we propose an automatic threshold optimization method. The first stage is to optimize the system with respect to metrics that do not depend on thresholds, such as mean average precision (mAP). The second stage is to optimize the thresholds with respect to metrics that depends on those thresholds. Our proposed automatic threshold optimization system achieves a state-of-the-art audio tagging F1 of 0.646, outperforming that without threshold optimization of 0.629, and a sound event detection F1 of 0.584, outperforming that without threshold optimization of 0.564.

研究动机与目标

• 为解决弱标签数据中仅提供片段级标签而无事件起始/结束时间的声事件检测（SED）挑战。
• 在弱标签数据背景下，比较片段级与片段级训练策略在SED与音tag（AT）任务中的性能表现。
• 提出一种新颖的自动阈值优化方法，使SED与AT性能超越经验阈值选择。
• 评估CNN-Transformer架构在捕捉长时序依赖关系方面相较于CRNNs的性能表现。
• 在DCASE 2017任务4数据集上实现弱监督SED与AT的最先进性能。

提出的方法

• 提出一种CNN-Transformer架构，结合卷积特征提取与自注意力机制，以建模音频谱图中的长时序依赖关系。
• 采用片段级训练策略，将完整音频片段作为输入，不进行分段处理，以保留全局上下文信息。
• 引入两阶段自动阈值优化：首先使用与阈值无关的指标（如mAP）优化模型参数，随后使用与阈值相关的指标（如F1）优化阈值。
• 利用验证集通过网格搜索或优化算法调整阈值，选择在验证集上F1得分最高的阈值，再在测试集上进行评估。
• 在最终层输出上应用Sigmoid激活函数，获得类别相关的概率分数，再通过阈值判断事件是否存在。
• 采用标准指标评估性能：音tag与SED任务均使用平均平均精度（mAP）、F1分数与错误率（ER）作为评估指标。

实验结果

研究问题

• RQ1 在弱监督SED与音tag任务中，片段级训练与片段级训练策略的性能表现有何差异？
• RQ2 CNN-Transformer模型能否在SED任务中实现与CRNN相当的性能，同时支持并行计算？
• RQ3 与固定的经验阈值相比，自动阈值优化是否能显著提升音tag与声事件检测的F1分数？
• RQ4 哪些声类最易与最难检测？阈值优化如何影响这些类别的性能表现？
• RQ5 所提方法能否在DCASE 2017任务4弱标签SED基准上实现最先进性能？

主要发现

• CNN-Transformer模型在测试集上实现音tag F1分数0.646，优于未优化阈值的基线模型（0.629）。
• 采用自动阈值优化的SED系统在测试集上实现F1分数0.584，优于未优化版本（0.564）。
• 自动阈值优化将错误率（ER）从0.78降低至0.68，显著提升SED性能。
• 片段级训练策略在音tag任务中实现mAP 0.650，在SED任务中实现ER 0.68，表明在DCASE 2017数据集上表现优异。
• CNN-Transformer性能与基于CRNN的模型相当，但支持并行计算，具备计算优势。
• 该方法在DCASE 2017任务4基准上实现最先进性能，超越此前所有方法，包括集成系统。