[论文解读] Zwitscherkasten -- DIY Audiovisual bird monitoring

Dominik Blum, Elias Häring+5 more|arXiv (Cornell University)|Feb 11, 2026

Animal Vocal Communication and Behavior被引用 0

一句话总结

本文提出 Zwitscherkasten，一种基于边缘设备的DIY多模态系统，用于实时鸟类物种监测，结合设备本地音频与视觉分类器，并通过声学活动门控来节省能量。

ABSTRACT

This paper presents Zwitscherkasten, a DiY, multimodal system for bird species monitoring using audio and visual data on edge devices. Deep learning models for bioacoustic and image-based classification are deployed on resource-constrained hardware, enabling real-time, non-invasive monitoring. An acoustic activity detector reduces energy consumption, while visual recognition is performed using fine-grained detection and classification pipelines. Results show that accurate bird species identification is feasible on embedded platforms, supporting scalable biodiversity monitoring and citizen science applications.

研究动机与目标

• 推动可扩展、非侵入式的鸟类监测，以应对欧洲鸟类数量下降问题。
• 开发并基准评测设备本地的音频与图像基于鸟类物种分类的深度学习模型。
• 提出一种能量高效的多模态边缘系统，具声学活动检测与后期融合用于实时监测。
• 评估在树莓派与 Rubik Pi 上的部署，并讨论公民科学的适用性。

提出的方法

• 在嵌入式硬件上并行运行两条互补的音频与视觉处理流。
• 一个声学活动检测器对更重的音频分类器进行门控以降低能耗。
• 音频模型包括带迁移学习与 SpecAugment 风格增强的 CNN 与基于变换器的架构。
• 视觉分类比较多类别对象检测与两阶段的检测–分类管线，使用来自 iNaturalist 的欧洲鸟类数据。
• 模型在德国鸟类群体上进行预训练或微调，并部署在边缘设备上，使用后期融合的 HMI。
• 评估一个 256 类的音频分类器，使用 PaSST、EfficientNet-B0/B-3、MobileNetV3，以及为边缘部署优化的 MobileNetV3 变体。

实验结果

研究问题

• RQ1 在低功耗边缘硬件上，能否实现准确的设备本地音频与视觉鸟类物种分类？
• RQ2 在边缘部署中，端到端多类检测与两阶段检测–分类在生态图像中的权衡与取舍如何？
• RQ3 在德国鸟类群体环境下，PaSST 相对于 CNN 基线的设备本地鸟声分类表现如何？
• RQ4 哪些数据集与数据处理策略能在长尾物种分布下实现稳健的设备本地性能？
• RQ5 门控声学活动检测器在不牺牲检测精度的前提下，能否有效降低能耗？

主要发现

• PaSST 在音频分类中对 256 种德国鸟类实现最高 Top-1 准确率 94.39%。
• EfficientNetB3 与 EfficientNetB0 的 Top-1 准确率分别为 92.93% 与 91.69%，MobileNetV3 为 85.62%。
• Top-5 准确率在所有模型中均较高（94.75%–97.60%），显示在前几名预测中的良好排名。
• 一个轻量级音频活动检测器（约 12 KB，运行在树莓派 5 上约 5 ms）与 80% 阈值实现实时门控并显著节能。
• 系统在树莓派与 Rubik Pi 上展示了设备本地可行性，研究中还展示了在移动端（如 iPhone）的潜在部署。
• 多模态架构实现了具后期融合的人机交互界面的实时鸟类分类。