[论文解读] Sound Event Recognition in a Smart City Surveillance Context

Tito Spadini, Dimitri Leandro de Oliveira Silva+1 more|arXiv (Cornell University)|Oct 27, 2019

Music and Audio Processing参考文献 18被引用 4

一句话总结

本论文提出了一种轻量级声音事件识别（SER）系统，用于智慧城市监控，采用音频而非视频，利用手工特征和高效分类器在SESA数据集上实现。随机梯度下降（SGD）分类器在准确率72.13%与仅6.81 ms推理时间之间达到最佳平衡，证明其在城市监控系统中实时嵌入式部署的可行性。

ABSTRACT

Due to the growing demand for improving surveillance capabilities in smart cities, systems need to be developed to provide better monitoring capabilities to competent authorities, agencies responsible for strategic resource management, and emergency call centers. This work assumes that, as a complementary monitoring solution, the use of a system capable of detecting the occurrence of sound events, performing the Sound Events Recognition (SER) task, is highly convenient. In order to contribute to the classification of such events, this paper explored several classifiers over the SESA dataset, composed of audios of three hazard classes (gunshots, explosions, and sirens) and a class of casual sounds that could be misinterpreted as some of the other sounds. The best result was obtained by SGD, with an accuracy of 72.13% with 6.81 ms classification time, reinforcing the viability of such an approach.

研究动机与目标

• 开发一种成本低廉、实时的声音事件识别系统，用于智慧城市监控，作为视频监控的补充。
• 在SESA数据集上评估多种分类器对危险事件（枪声、爆炸声、警报声）和日常声音的检测效果。
• 在分类准确率与低推理时间之间实现平衡，以实现在低成本嵌入式硬件上的部署。
• 识别最适合实际智慧城市应用的高效且准确的分类器。
• 评估特征工程与降维对SER性能的影响。

提出的方法

• 使用标准音频处理技术，从200 ms音频帧（重叠50%）中提取137个时域、频域和倒谱特征。
• 应用特征归一化与基于方差的过滤，随后通过主成分分析（PCA）进行降维。
• 在包含三个危险类别和一个日常类别SESA数据集上，使用三重交叉验证训练并评估13种分类器。
• 同时测量分类准确率与推理时间，以评估性能与效率之间的权衡。
• 采用标准化流程：特征提取 → 预处理 → 特征选择 → 模型训练 → 交叉验证评估。
• 基于综合准确率与推理速度，选择最适合嵌入式部署潜力的最佳模型。

实验结果

研究问题

• RQ1 在智慧城市监控背景下，哪种分类器在准确率与推理速度之间实现了最佳权衡？
• RQ2 手工音频特征结合简单分类器在区分危险声音事件与日常环境声音方面效果如何？
• RQ3 轻量级模型如SGD或感知器能否在嵌入式系统上实现实时部署所需的足够准确率？
• RQ4 降维对分类器性能与计算效率有何影响？
• RQ5 在实时音频事件检测中，复杂模型如KNN与SVM在准确率与处理时间方面如何比较？

主要发现

• SGD分类器在整体性能上表现最佳，准确率达到72.13%，单样本推理时间最快，仅6.81 ms。
• Bagging分类器准确率最高（73.05%），但处理速度显著较慢（单样本5.16秒），因此不适合实时应用。
• KNN分类器速度最慢，单次分类需21.55秒，比SGD慢超过3,000倍。
• 岭回归分类器准确率较低（69.51%），且方差较大（13.70%），表明模型不稳定，不适用于本任务。
• 感知器、被动攻击（Passive Aggressive）与岭分类器均为最快类别，单次推理时间低于7 ms，但仅SGD在保持高准确率的同时实现了高速度。
• 特征工程、归一化与PCA的结合显著提升了模型效率，降低了计算负担。