[论文解读] Scalable Preprocessing of High Volume Bird Acoustic Data

Alexander Brown, Saurabh Garg+1 more|arXiv (Cornell University)|Feb 2, 2018

Animal Vocal Communication and Behavior参考文献 18被引用 3

一句话总结

本文提出了一种可扩展的分布式预处理流水线，用于高吞吐量的鸟类声学数据，将降噪、下采样和音频分块整合为一个优化的处理序列。通过利用主从架构并实现32个核心的数据并行处理，该系统相较于串行处理实现了21.76倍的加速，显著提升了大规模生物声学分析的效率，同时在降噪和信号增强方面保持了高精度。

ABSTRACT

In this work, we examine the problem of efficiently preprocessing high volume bird acoustic data. We combine several existing preprocessing steps including noise reduction approaches into a single efficient pipeline by examining each process individually. We then utilise a distributed computing architecture to improve execution time. Using a master-slave model with data parallelisation, we developed a near-linear automated scalable system, capable of preprocessing bird acoustic recordings 21.76 times faster with 32 cores over 8 virtual machines, compared to a serial process. This work contributes to the research area of bioacoustic analysis, which is currently very active because of its potential to monitor animals quickly at low cost. Overcoming noise interference is a significant challenge in many bioacoustic studies, and the volume of data in these studies is increasing. Our work makes large scale bird acoustic analyses more feasible by parallelising important bird acoustic processing tasks to significantly reduce execution times.

研究动机与目标

• 解决大规模生物声学研究中高效处理高吞吐量鸟类声学数据的日益增长的挑战。
• 克服串行、手动或半自动预处理流水线效率低下、难以扩展的问题。
• 开发一个统一的、优化的预处理流水线，将多个步骤（如降噪、下采样和滤波）整合为单一高效的工作流。
• 通过使用主从模型和数据并行化在多台机器上分布流水线，实现在近线性规模下的可扩展性。
• 在保持检测和去除雨声、蝉鸣及背景噪声等噪声源的准确性的同时，提升执行时间和资源利用率。

提出的方法

• 设计一个多阶段预处理流水线，包括音频分割、下采样至22.05 kHz、单声道转换、1 kHz的高通滤波、MMSE STSA降噪，以及基于FFT的谱分析（使用256点汉明窗和50%重叠）。
• 使用8台虚拟机和32个核心实现主从分布式架构，通过将音频分块并行处理。
• 通过分析每一步骤的时间节省和准确性影响，优化流水线顺序，将计算量大的步骤（如MMSE STSA滤波）延迟，以减少冗余计算。
• 使用基于规则的分类（C4.5）结合声学指数，根据谱能量和信噪比检测并去除强降雨和蝉鸣合唱。
• 通过静音段移除消除非信号段，提升处理效率而不影响检测准确性。
• 通过动态分配更多文件给性能更强的节点，实现跨机器的工作负载均衡，并确保CPU利用率稳定在约90%。

实验结果

研究问题

• RQ1 如何设计一个统一且高效的预处理流水线，以处理高吞吐量的鸟类声学数据，同时最小化冗余计算？
• RQ2 预处理步骤的最优顺序是什么，以在保证降噪和信号增强准确性的同时最大化加速比？
• RQ3 使用数据并行化的主从分布式架构在多大程度上能够扩展复杂生物声学预处理流水线的执行？
• RQ4 与Hadoop或Spark等现有分布式框架相比，该系统的性能在加速比和资源利用率方面如何？
• RQ5 该流水线是否可以扩展以支持更多类型的噪声或更复杂的分割技术，而无需进行重大架构重构？

主要发现

• 所提出的流水线在8台虚拟机和32个核心上处理数据时，执行时间实现了21.76倍的加速，表明具有接近线性的可扩展性。
• MMSE STSA滤波被确定为最耗时的组件，因此将其置于流水线后段可避免重复处理已处理的数据，具有合理性。
• 高通滤波和蝉鸣噪声去除在处理较少但更长的音频文件时更为高效，这影响了最优分块策略的设计。
• 系统在所有机器上实现了约90%的稳定CPU利用率，表明负载均衡良好，空闲处理时间极少。
• 内存利用率保持在50%以下，表明内存并非主要瓶颈，系统为计算密集型。
• 该流水线具有模块化和可扩展性，可轻松集成额外的降噪技术或高级分割方法，且对架构改动极小。