[论文解读] Multi-Task Learning for Interpretable Weakly Labelled Sound Event Detection

Soham Deshmukh, Bhiksha Raj+1 more|arXiv (Cornell University)|Aug 17, 2020

Music and Audio Processing参考文献 45被引用 4

一句话总结

该论文提出了一种用于弱标签声音事件检测（SED）的多任务学习框架，通过联合优化SED任务与时间-频率（T-F）重建辅助任务，并引入两步注意力池化机制。该方法通过去噪内部T-F表征并增强可解释性，实现了在0 dB、10 dB和20 dB信噪比（SNR）下相对于基准模型22.3%、12.8%和5.9%的相对F1分数提升。

ABSTRACT

Weakly Labelled learning has garnered lot of attention in recent years due to its potential to scale Sound Event Detection (SED) and is formulated as Multiple Instance Learning (MIL) problem. This paper proposes a Multi-Task Learning (MTL) framework for learning from Weakly Labelled Audio data which encompasses the traditional MIL setup. To show the utility of proposed framework, we use the input TimeFrequency representation (T-F) reconstruction as the auxiliary task. We show that the chosen auxiliary task de-noises internal T-F representation and improves SED performance under noisy recordings. Our second contribution is introducing two step Attention Pooling mechanism. By having 2-steps in attention mechanism, the network retains better T-F level information without compromising SED performance. The visualisation of first step and second step attention weights helps in localising the audio-event in T-F domain. For evaluating the proposed framework, we remix the DCASE 2019 task 1 acoustic scene data with DCASE 2018 Task 2 sounds event data under 0, 10 and 20 db SNR resulting in a multi-class Weakly labelled SED problem. The proposed total framework outperforms existing benchmark models over all SNRs, specifically 22.3 %, 12.8 %, 5.9 % improvement over benchmark model on 0, 10 and 20 dB SNR respectively. We carry out ablation study to determine the contribution of each auxiliary task and 2-step Attention Pooling to the SED performance improvement. The code is publicly released

研究动机与目标

• 通过利用弱标签数据解决强标签SED的可扩展性和标注成本挑战。
• 在噪声条件下提升弱标签SED模型的鲁棒性和可解释性。
• 开发一种多任务学习框架，通过辅助重建任务增强特征表征能力。
• 引入两步注意力池化机制，以保留T-F表征中的细粒度时频信息。
• 通过可可视化注意力权重，实现对音频事件更好的定位与理解。

提出的方法

• 将弱标签SED表述为多任务学习问题，以SED为主要任务，T-F对数梅尔谱图重建为辅助任务。
• 使用共享编码器配合2D平均池化，从输入音频中提取分层表征，随后应用两步注意力池化机制。
• 在第一步注意力池化中，识别所有音频事件的时间-频率感兴趣区域。
• 在第二步注意力池化中，对特定事件进行细化并分配注意力权重，生成最终的事件级预测。
• 使用二元交叉熵损失进行SED训练，使用均方误差损失进行重建训练，实现端到端联合训练。
• 利用解码器头从共享编码器的表征中重建输入的对数梅尔谱图，从而强制内部表征去噪。

实验结果

研究问题

• RQ1 是否可以通过将T-F重建作为辅助任务的多任务学习框架，在噪声条件下提升弱标签SED的鲁棒性和性能？
• RQ2 两步注意力池化机制在时频域中如何提升可解释性和定位准确性？
• RQ3 辅助重建任务在多大程度上促进了内部T-F表征的去噪并提升了SED性能？
• RQ4 在不同信噪比（SNR）下，所提出的框架与现有基准模型相比表现如何？
• RQ5 能否将辅助任务中获得的去噪T-F表征用于下游任务（如音频源分离）？

主要发现

• 在0 dB SNR下，所提框架相比基准模型实现了22.3%的相对F1分数提升。
• 在10 dB SNR下，模型表现出12.8%的相对F1分数提升，显示出对噪声的鲁棒性。
• 在20 dB SNR下，模型仍实现了5.9%的相对F1分数提升，表明在高噪声环境下性能持续增强。
• 消融研究显示，两步注意力池化机制是性能提升的主要驱动力，其贡献超过辅助重建任务。
• 辅助重建任务贡献了约1%的F1分数提升，表明其在内部表征去噪中的作用。
• 注意力权重可视化结果证实，模型在时频域中对音频事件的定位与实际事件起始时间和持续时间高度一致。