[论文解读] Multimodal sensor data fusion for in-situ classification of animal behavior using accelerometry and GNSS data

Reza Arablouei, Ziwei Wang+2 more|arXiv (Cornell University)|Jun 24, 2022

Water Quality Monitoring Technologies被引用 5

一句话总结

本文提出一种基于加速度计与GNSS数据的多模态融合方法，以提升对牛只行为（尤其是行走和饮水等罕见行为）的原位分类性能。通过融合各传感器模态独立MLP分类器输出的后验概率，该方法在准确率和效率上均优于特征拼接或单传感器方法，且计算开销低，适用于嵌入式系统。

ABSTRACT

In this paper, we examine the use of data from multiple sensing modes, i.e., accelerometry and global navigation satellite system (GNSS), for classifying animal behavior. We extract three new features from the GNSS data, namely, distance from water point, median speed, and median estimated horizontal position error. We combine the information available from the accelerometry and GNSS data via two approaches. The first approach is based on concatenating the features extracted from both sensor data and feeding the concatenated feature vector into a multi-layer perceptron (MLP) classifier. The second approach is based on fusing the posterior probabilities predicted by two MLP classifiers. The input to each classifier is the features extracted from the data of one sensing mode. We evaluate the performance of the developed multimodal animal behavior classification algorithms using two real-world datasets collected via smart cattle collar tags and ear tags. The leave-one-animal-out cross-validation results show that both approaches improve the classification performance appreciably compared with using data of only one sensing mode. This is more notable for the infrequent but important behaviors of walking and drinking. The algorithms developed based on both approaches require little computational and memory resources hence are suitable for implementation on embedded systems of our collar tags and ear tags. However, the multimodal animal behavior classification algorithm based on posterior probability fusion is preferable to the one based on feature concatenation as it delivers better classification accuracy, has less computational and memory complexity, is more robust to sensor data failure, and enjoys better modularity.

研究动机与目标

• 解决利用可穿戴传感器数据准确分类罕见但关键的牛只行为（如行走和饮水）的挑战。
• 通过融合两种模态的互补数据，克服单传感器方法的局限性——加速度计可捕捉运动但缺乏空间上下文，而GNSS提供位置信息但时间分辨率低。
• 开发计算高效、适用于低功耗智能颈圈和耳标嵌入式系统实时部署的原位分类算法。
• 通过利用双传感器流的判别性特征，提升对模糊或罕见行为（如“alia”类）的分类性能。
• 在真实约束条件下（如训练数据有限、传感器噪声）评估所提融合策略，使用真实世界牛只数据集进行测试。

提出的方法

• 从GNSS数据中提取三个新特征：到饮水点的距离（DtWP）、通过多普勒频移估算的平均速度，以及平均水平位置误差。
• 采用两种不同的融合策略：(1) 将加速度计与GNSS特征拼接为单一向量，输入多层感知机（MLP）分类器；(2) 在每个模态上分别训练MLP，并融合其后验概率输出。
• 采用留一动物交叉验证方法，在两个真实世界数据集（来自智能牛颈圈和耳标）上评估泛化性能。
• 通过比较两种融合方法在内存和处理需求上的差异，评估计算效率及对传感器故障的鲁棒性。
• 在概率融合模型中假设在给定行为类别下，加速度计与GNSS特征条件独立，从而实现模块化与可扩展设计。
• 实现最终模型用于设备端推理，确保低延迟与最小资源占用，适用于边缘部署。

Figure 1: The block diagram of the animal behavior classification algorithm using multimodal sensor data via the feature concatenation method.

实验结果

研究问题

• RQ1 与单独使用任一传感器模态相比，结合加速度计与GNSS数据是否能提升原位动物行为分类的准确率？
• RQ2 后验概率融合两个模态专用分类器是否在分类准确率和计算效率上优于特征拼接？
• RQ3 所提出的多模态方法在分类罕见或不频繁行为（如行走和饮水）方面效果如何，而这些行为对牲畜健康监测至关重要？
• RQ4 新型GNSS衍生特征（到饮水点的距离、基于多普勒的速率、位置误差）在提升行为判别能力方面贡献如何？
• RQ5 在真实野外条件下，所提算法对传感器数据故障或噪声的鲁棒性如何？

主要发现

• 后验概率融合方法在分类准确率上优于特征拼接，尤其在行走和饮水等罕见行为上表现更优。
• 概率融合方法所需的计算与内存资源少于特征拼接，更适用于智能牛耳标上的嵌入式部署。
• 两种多模态融合方法均显著优于单传感器基线模型，尤其在区分行走与饮水行为方面提升最为明显。
• 到饮水点的距离（DtWP）特征对行走行为具有强判别能力，可能源于实验区域受限，行走事件主要与牛栏至牧场的移动相关。
• GNSS平均位置误差约7米，限制了DtWP特征的实用性，表明需更高精度GNSS（如RTK或DGPS）以提升在广阔区域的适用性。
• “alia”类（包含梳理、鸣叫等低强度行为）由于数据稀缺与类间差异大，仍难以分类，凸显未来方法需减少对这类模糊类别的依赖。

Figure 2: The block diagram of the animal behavior classification algorithm using multimodal sensor data via the posterior probability fusion method.