[论文解读] Semi-Supervised Audio Representation Learning for Modeling Beehive Strengths

Tony Zhang, Szymon Zmyslony+3 more|arXiv (Cornell University)|May 21, 2021

Plant and animal studies参考文献 21被引用 9

一句话总结

本文提出了一种分层半监督深度学习模型，通过无监督音频重建损失和有监督预测损失，联合学习音频表征并预测蜂群强度。尽管人工检查频率较低导致标注数据有限，该模型仍能学习到解耦的潜在空间，捕捉昼夜节律动态和与疾病相关的频谱变化，从而仅通过音频即可准确表征蜂群健康状况和种群规模。

ABSTRACT

Honey bees are critical to our ecosystem and food security as a pollinator, contributing 35% of our global agriculture yield. In spite of their importance, beekeeping is exclusively dependent on human labor and experience-derived heuristics, while requiring frequent human checkups to ensure the colony is healthy, which can disrupt the colony. Increasingly, pollinator populations are declining due to threats from climate change, pests, environmental toxicity, making their management even more critical than ever before in order to ensure sustained global food security. To start addressing this pressing challenge, we developed an integrated hardware sensing system for beehive monitoring through audio and environment measurements, and a hierarchical semi-supervised deep learning model, composed of an audio modeling module and a predictor, to model the strength of beehives. The model is trained jointly on audio reconstruction and prediction losses based on human inspections, in order to model both low-level audio features and circadian temporal dynamics. We show that this model performs well despite limited labels, and can learn an audio embedding that is useful for characterizing different sound profiles of beehives. This is the first instance to our knowledge of applying audio-based deep learning to model beehives and population size in an observational setting across a large number of hives.

研究动机与目标

• 为解决商业蜂业中缺乏可扩展、非侵入性的蜂群健康与种群规模监测方法的问题。
• 开发一种机器学习框架，利用大规模未标注蜂群音频数据，其中标注受限于人工检查的低频次。
• 学习一种解耦的音频表征，以捕捉蜂群声音特征中的昼夜节律与病理变化。
• 证明半监督学习可仅使用稀疏的人工标注标签和原始音频 spectrograms，有效建模蜂群强度。
• 通过减少对劳动密集型视觉检查的依赖，实现长期、大规模的蜂群监测。

提出的方法

• 训练一种分层深度学习模型，联合优化音频重建损失（通过类似 VAE 的自编码器）和基于人工检查标签的蜂群强度预测损失。
• 模型从 1 小时窗口的 spectrograms 学习低维潜在空间，其中解耦的维度对应于频带变化。
• 将音频数据投影至潜在空间并使用 PCA 可视化，通过颜色映射疾病严重程度以评估聚类模式。
• 模型以原始音频 spectrograms 和环境传感器数据（温度、湿度）作为输入，无需跨传感器校准。
• 在未标注音频上进行半监督预训练，使模型即使在少量标注样本下也能学习有意义的音频嵌入。
• 解码器生成重建的 spectrograms，以评估模型捕捉光谱特征（包括昼夜变化和疾病相关畸变）的能力。

实验结果

研究问题

• RQ1 仅使用稀疏的人工检查标签，半监督音频表征学习能否有效建模蜂群强度？
• RQ2 所学习的潜在空间在多大程度上捕捉了蜂群声音特征中的昼夜节律动态与病理变化？
• RQ3 模型能否仅基于音频 spectrograms 和最小监督，区分不同疾病严重程度？
• RQ4 潜在空间中的解耦维度在多大程度上对应于频谱中具有生物学意义的变化？
• RQ5 该模型在麦克风未校准和环境条件异质的多样化蜂群上是否具备泛化能力？

主要发现

• 模型实现了 spectrograms 的有效重建，表明学习到的嵌入捕捉了蜂群音频中的关键频带和幅度变化。
• 潜在空间的 PCA 分析显示，健康蜂群占据一个明显区域，而疾病严重程度沿第一主成分（PC-1）逐步分离，低疾病严重程度表现出最明显的聚类。
• 健康蜂群在 24 小时内表现出频谱幅度变化和主峰展宽，这些特征在潜在变量中一致体现。
• 在低疾病严重程度下，一个 645 Hz 的峰值随时间展宽并幅度增加，这一特征在高严重程度组中未出现。
• 随着疾病严重程度从低到高增加，频谱幅度下降，昼夜节律模式变得不明显，与已知病态蜂群的行为与声学变化一致。
• 即使标注数据有限，模型仍成功捕捉了不同疾病状态下声学特征的生物学相关差异，验证了其在可扩展蜂群监测中的实用性。