[论文解读] Sound Event Localization and Detection Using Activity-Coupled Cartesian DOA Vector and RD3net

Kazuki Shimada, Naoya Takahashi+2 more|arXiv (Cornell University)|Jun 22, 2020

Music and Audio Processing参考文献 14被引用 11

一句话总结

该论文提出了一种统一的单阶段框架，用于声音事件定位与检测（SELD），采用活动耦合的笛卡尔波束宽度向量（ACCDOA）表示法，并引入一种新型循环-密集网络（RD3Net）。该方法在DCASE2020任务3中取得了最先进性能，显著优于基线模型，尤其在定位召回率和F1分数方面表现突出，通过模型集成以及包括EMDA、FOA旋转和多通道SpecAugment在内的数据增强技术进一步提升了性能。

ABSTRACT

Our systems submitted to the DCASE2020 task~3: Sound Event Localization and Detection (SELD) are described in this report. We consider two systems: a single-stage system that solve sound event localization~(SEL) and sound event detection~(SED) simultaneously, and a two-stage system that first handles the SED and SEL tasks individually and later combines those results. As the single-stage system, we propose a unified training framework that uses an activity-coupled Cartesian DOA vector~(ACCDOA) representation as a single target for both the SED and SEL tasks. To efficiently estimate sound event locations and activities, we further propose RD3Net, which incorporates recurrent and convolution layers with dense skip connections and dilation. To generalize the models, we apply three data augmentation techniques: equalized mixture data augmentation~(EMDA), rotation of first-order Ambisonic~(FOA) singals, and multichannel extension of SpecAugment. Our systems demonstrate a significant improvement over the baseline system.

研究动机与目标

• 解决复杂多源音频环境中声音事件检测与定位（SELD）的挑战。
• 通过专为多通道音频和波束宽度估计设计的新颖数据增强技术，提升模型泛化能力与性能。
• 开发一种统一的单阶段框架，利用ACCDOA表示法联合优化声音事件活动与波束宽度（DOA）估计。
• 展示所提出的RD3Net架构相较于CRNN等现有模型在SELD任务中的优越性。
• 通过模型集成与多配置加权平均，实现最先进性能。

提出的方法

• ACCDOA表示法将声音事件活动编码为三维笛卡尔波束宽度向量的模长，方向表示声源位置，从而在单一输出中实现SED与SEL的联合回归。
• RD3Net结合空洞卷积、瓶颈处的循环单元（GRUs）以及密集跳跃连接，用网络反卷积替代批量归一化，以提升特征学习能力。
• 应用三种数据增强技术：等比例混合数据增强（EMDA）以实现更真实的声源混合，对一阶体感音频（FOA）信号进行旋转以增加波束宽度多样性，以及多通道版的SpecAugment用于频谱与通道掩码。
• 特征源自STFT系数，包括多通道振幅谱图与通道间相位差（IPDs），相对IPDs以第一麦克风为参考进行计算。
• 单阶段系统使用均方误差（MSE）损失回归ACCDOA向量，而两阶段系统则对SEd使用二元交叉熵损失，对DOA使用掩码MSE损失，并将SEd分支的参数迁移至DOA分支。
• 后处理包括重叠段推理、推理阶段通过向量旋转实现数据增强，以及通过学习到的类别与模型特定权重对预测结果进行加权平均实现模型集成。

实验结果

研究问题

• RQ1 采用ACCDOA表示法的统一单阶段框架是否能在SELD任务中超越解耦的两阶段方法？
• RQ2 所提出的三种数据增强技术——EMDA、FOA旋转与多通道SpecAugment——在提升模型泛化能力与鲁棒性方面效果如何？
• RQ3 与标准CRNN相比，RD3Net架构（结合空洞卷积、GRUs与密集跳跃连接）在SELD任务中的性能提升程度如何？
• RQ4 通过多配置加权平均的模型集成是否能进一步提升在F20°与LRCD等挑战性指标上的表现？
• RQ5 多音性对所提系统性能有何影响？模型在重叠声音事件下是否仍能保持高精度？

主要发现

• ACCDOA系统在无多音性的开发集上取得81.3%的F20°分数，在含多音性的场景下仍达到74.3%，表明其在复杂场景中具备强大性能。
• ACCDOA系统在定位召回率（LRCD）上比两阶段系统高出2.3个百分点，表明其在联合检测与定位精度方面更具优势。
• RD3Net在所有指标上显著优于CRNN基线模型，F20°提升3.8个百分点，LRCD提升4.1个百分点。
• 通过模型集成，F20°分数相较最佳单模型提升3.2个百分点，凸显了对多样化配置进行加权平均的有效性。
• 系统成功在真实录音中追踪动态声源，如图3所示，展示了其在联合检测、定位与时间追踪方面的鲁棒性。
• 多音性导致性能下降，表现为定位误差（LECD）增加2.3°，LRCD下降4.1个百分点，表明在密集事件场景中仍有改进空间。