[论文解读] SoundDet: Polyphonic Moving Sound Event Detection and Localization from Raw Waveform

Yuhang He, Niki Trigoni+1 more|arXiv (Cornell University)|Jun 13, 2021

Music and Audio Processing被引用 10

一句话总结

SoundDet 是一种端到端、轻量级的多音源移动声音事件检测与定位框架，可直接处理未经频谱预处理的原始多通道波形。它引入了相位和频率敏感的 MaxCorr 滤波器组、具有时间重叠性和运动平滑性的密集事件提议，采用统一的以目标为中心的方法，在基于片段和新型事件的评估指标上均达到最先进性能。

ABSTRACT

We present a new framework SoundDet, which is an end-to-end trainable and light-weight framework, for polyphonic moving sound event detection and localization. Prior methods typically approach this problem by preprocessing raw waveform into time-frequency representations, which is more amenable to process with well-established image processing pipelines. Prior methods also detect in segment-wise manner, leading to incomplete and partial detections. SoundDet takes a novel approach and directly consumes the raw, multichannel waveform and treats the spatio-temporal sound event as a complete "sound-object" to be detected. Specifically, SoundDet consists of a backbone neural network and two parallel heads for temporal detection and spatial localization, respectively. Given the large sampling rate of raw waveform, the backbone network first learns a set of phase-sensitive and frequency-selective bank of filters to explicitly retain direction-of-arrival information, whilst being highly computationally and parametrically efficient than standard 1D/2D convolution. A dense sound event proposal map is then constructed to handle the challenges of predicting events with large varying temporal duration. Accompanying the dense proposal map are a temporal overlapness map and a motion smoothness map that measure a proposal's confidence to be an event from temporal detection accuracy and movement consistency perspective. Involving the two maps guarantees SoundDet to be trained in a spatio-temporally unified manner. Experimental results on the public DCASE dataset show the advantage of SoundDet on both segment-based and our newly proposed event-based evaluation system.

研究动机与目标

• 解决先前方法依赖手工设计的时频表示和分段检测在声音事件检测与定位中的局限性。
• 将时间检测与空间定位统一到单一端到端框架中，将声音事件视为包含起始时间、结束时间、持续时间、类别和到达方向的完整 '声音对象'。
• 消除频谱预处理的需求，降低计算成本，同时保留对区分重叠声音事件至关重要的相位和频率信息。
• 提出一种新型基于事件的评估指标，相比传统基于片段的指标，更能反映事件的完整性和连续性。
• 通过引入运动一致性与边界感知置信度图，提升对长时长和移动声音事件的检测鲁棒性。

提出的方法

• SoundDet 使用一种新型 MaxCorr 滤波器组，直接接收原始多通道波形，该滤波器组可学习具有低参数量和计算成本的相位敏感、频率选择性滤波器。
• 主干网络通过步长大于1的1D卷积和转置卷积处理波形，随后使用双向GRU捕捉长程时间依赖性。
• 生成密集提议图以在所有时间步预测事件候选，其关联的置信度分数来自时间重叠性图和运动平滑性图。
• 采用两个并行分支：一个用于多标签分类（事件类别），另一个用于空间定位（DoA），均从特征图回归。
• 运动平滑性图确保预测在时间上具有一致性，从而提升对移动事件的定位准确性。
• 引入基于事件的评估系统，通过不同置信度阈值计算 mAP 和 mAR，以评估事件的完整性和连续性。

实验结果

研究问题

• RQ1 能否设计一种端到端框架，直接处理原始波形以实现多音源移动声音事件检测与定位，而无需频谱预处理？
• RQ2 将声音事件建模为包含时间持续性和运动一致性的完整 '声音对象'，相比分段方法，能否显著提升检测性能？
• RQ3 引入运动平滑性图与时间重叠性图对定位准确性与事件完整性有何影响？
• RQ4 所提出的基于事件的评估指标为何能比标准基于片段的指标更真实地反映实际检测性能？
• RQ5 像 MaxCorr 这类轻量级、参数高效的滤波器组，能否在保留方向性和频率信息方面优于标准的1D/2D卷积？

主要发现

• SoundDet 在参数量显著更少的情况下，性能优于 SELDNet，且与 EIN 相当，证明了其高效性与有效性。
• 引入运动平滑性图带来显著性能提升，凸显其在准确检测移动声音事件中的关键作用。
• SoundDet 在基于事件的评估指标上达到最先进水平，mAP 和 mAR 均高于所有现有方法，表明其在事件完整性和连续性建模方面表现更优。
• 在 DCASE 2019 数据集上，SoundDet 在检测长时长和重叠声音事件方面具有明显优势，而这些任务对分段基线方法处理效果较差。
• 推理时间与 SELDNet 相当（每分钟1.25秒），且接近 EIN 的两倍快（2.20秒），证实其计算效率。
• MaxCorr 滤波器组能有效从原始波形中学习表征，其在 FOA 格式上的表现优于 MIC 格式，且在参数效率方面优于标准卷积。