[论文解读] Towards Automatic Identification of Elephants in the Wild

Matthias Körschens, Björn Barz+1 more|arXiv (Cornell University)|Dec 11, 2018

Video Surveillance and Tracking Methods参考文献 8被引用 31

一句话总结

本文提出了一种计算机视觉系统，结合基于YOLO的头部检测、预训练的ResNet50特征、主成分分析（PCA）以及支持向量机（SVM）分类，实现仅用少量训练图像即可自动识别个体大象。当使用每只大象多张图像时，系统在顶部1名准确率上达到74%，顶部10名准确率上达到88%，显著提升了对遮挡和视角变化的鲁棒性。

ABSTRACT

Identifying animals from a large group of possible individuals is very important for biodiversity monitoring and especially for collecting data on a small number of particularly interesting individuals, as these have to be identified first before this can be done. Identifying them can be a very time-consuming task. This is especially true, if the animals look very similar and have only a small number of distinctive features, like elephants do. In most cases the animals stay at one place only for a short period of time during which the animal needs to be identified for knowing whether it is important to collect new data on it. For this reason, a system supporting the researchers in identifying elephants to speed up this process would be of great benefit. In this paper, we present such a system for identifying elephants in the face of a large number of individuals with only few training images per individual. For that purpose, we combine object part localization, off-the-shelf CNN features, and support vector machine classification to provide field researches with proposals of possible individuals given new images of an elephant. The performance of our system is demonstrated on a dataset comprising a total of 2078 images of 276 individual elephants, where we achieve 56% top-1 test accuracy and 80% top-10 accuracy. To deal with occlusion, varying viewpoints, and different poses present in the dataset, we furthermore enable the analysts to provide the system with multiple images of the same elephant to be identified and aggregate confidence values generated by the classifier. With that, our system achieves a top-1 accuracy of 74% and a top-10 accuracy of 88% on the held-out test dataset.

研究动机与目标

• 解决在仅用少量训练数据且个体间视觉相似度高时，对野外个体大象进行识别的挑战。
• 减少野外生物学家在关键数据采集时段所承受的时间和认知负担。
• 在遮挡、姿态变化和图像质量下降等真实条件下，提升识别准确率。
• 通过聚合同一头大象多张图像的分类器置信度分数，实现在多图像输入下稳健的识别。
• 证明利用迁移学习和集成策略实现少样本、少图像动物识别的可行性。

提出的方法

• 基于YOLO的目标检测器用于在输入图像中定位大象的头部，以提取感兴趣区域特征。
• 从预训练的ResNet50网络的早期和中间层提取现成的特征，以提升在小数据集上的泛化能力。
• 应用主成分分析（PCA）降低特征维度，同时保留判别性信息。
• 使用降维后的特征表示训练支持向量机（SVM）分类器，实现多类别识别。
• 为提高鲁棒性，对同一未知大象的多张图像独立处理，并对它们的置信度分数进行平均或通过多数投票法合并。
• 通过网络界面部署系统，以支持野外生物学家在实时识别任务中的使用。

实验结果

研究问题

• RQ1 仅用每类4–8张训练图像，少样本识别系统是否能在个体大象上实现可靠性能？
• RQ2 在遮挡和视角变化条件下，使用同一头大象的多张图像如何影响分类准确率？
• RQ3 从预训练卷积神经网络的早期层提取特征，是否能提升在小规模、类别不平衡的野生动物数据集上的性能？
• RQ4 数据增强和置信度聚合在多大程度上可缓解因图像质量差或特征不完整导致的错误？
• RQ5 结合目标检测、迁移学习和集成分类的流水线是否能在真实野外条件下超越传统方法？

主要发现

• 当使用单张图像进行分类时，系统在顶部1名准确率上达到56%，顶部10名准确率上达到80%。
• 当对每只未知大象使用两张图像时，系统性能提升至顶部1名准确率74%、顶部10名准确率88%，证明了多图像聚合的优势。
• 训练图像超过8张的大象，其顶部1名准确率超过70%；而训练图像少于4张的个体，准确率低于30%，凸显了数据稀缺的关键挑战。
• 结合早期和中间层CNN特征、PCA与SVM的策略，性能优于仅依赖网络最后一层特征的方法。
• 通过图像翻转进行数据增强可提升SVM的泛化能力，尤其在低数据场景下效果显著。
• 系统的性能对边界框质量较为敏感，提示可通过集成裁剪策略进一步优化。