[论文解读] Multimodal Foundation Models for Zero-shot Animal Species Recognition in Camera Trap Images

Zalan Fabian, Zhongqi Miao+11 more|arXiv (Cornell University)|Nov 2, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

该论文提出WildMatch，一种利用多模态基础模型生成相机陷阱图像详细视觉描述并将其与外部物种描述知识库匹配的零样本动物物种识别框架。通过指令微调视觉-语言模型以实现专家级图像字幕生成，并结合知识增强，WildMatch在无需任何领域内训练数据的情况下，在一个新的哥伦比亚相机陷阱数据集上实现了77.54%的微平均准确率，表现出强大的零样本性能。

ABSTRACT

Due to deteriorating environmental conditions and increasing human activity, conservation efforts directed towards wildlife is crucial. Motion-activated camera traps constitute an efficient tool for tracking and monitoring wildlife populations across the globe. Supervised learning techniques have been successfully deployed to analyze such imagery, however training such techniques requires annotations from experts. Reducing the reliance on costly labelled data therefore has immense potential in developing large-scale wildlife tracking solutions with markedly less human labor. In this work we propose WildMatch, a novel zero-shot species classification framework that leverages multimodal foundation models. In particular, we instruction tune vision-language models to generate detailed visual descriptions of camera trap images using similar terminology to experts. Then, we match the generated caption to an external knowledge base of descriptions in order to determine the species in a zero-shot manner. We investigate techniques to build instruction tuning datasets for detailed animal description generation and propose a novel knowledge augmentation technique to enhance caption quality. We demonstrate the performance of WildMatch on a new camera trap dataset collected in the Magdalena Medio region of Colombia.

研究动机与目标

• 通过减少对专家标注数据的依赖，解决野生动物监测中高昂的标注成本问题，以实现相机陷阱图像分析。
• 在无任何标注训练数据的新地理区域中，实现零样本物种分类。
• 提升模型对领域偏移、低质量图像以及分布外样本的鲁棒性，这些在真实世界相机陷阱数据中普遍存在。
• 开发一种可扩展、可泛化的框架，仅使用自然语言先验和外部知识实现细粒度动物物种识别。
• 提升模型在实际保护应用中的校准性与可靠性，其中对预测结果的信任至关重要。

提出的方法

• 对视觉-语言基础模型（如LLaVA-7B）进行指令微调，以生成相机陷阱图像的详细、类专家级视觉描述。
• 通过结合人工标注数据与GPT-4增强知识的混合管道，将领域特定知识（如动物形态、行为、栖息地）注入字幕中。
• 利用从生物多样性资源中整理的文本和知识增强后的字幕，构建外部物种描述知识库。
• 使用大型语言模型（LLM）匹配生成的图像字幕与知识库中最接近的条目，实现零样本分类。
• 通过应用自一致性采样和多数投票法，利用单个动物通过过程中的多帧时间序列信息，提升预测置信度。
• 使用ECE、MCE和ACE指标评估模型校准性，以确保在安全关键部署中具备可靠的不确定性估计。

实验结果

研究问题

• RQ1 指令微调的多模态基础模型能否生成足够详细且准确的野生动物相机陷阱图像视觉描述，以支持零样本物种分类？
• RQ2 字幕数据的知识增强在多大程度上提升了生成描述的质量与实用性，以支持细粒度物种识别？
• RQ3 基于描述匹配的零样本框架在新、未见区域的相机陷阱数据上，其准确率与校准性是否显著优于监督基线？
• RQ4 在不增加额外训练或计算资源的前提下，利用多帧序列如何提升零样本分类性能？
• RQ5 与监督基线相比，该零样本模型的预测在可靠性与不确定性估计方面表现如何？

主要发现

• WildMatch在Magdalena Camera Traps数据集上仅使用零样本推理且未进行领域微调，即实现了77.54%的微平均准确率和71.73%的宏平均准确率。
• 当应用基于自一致性与多数投票的序列级预测时，模型准确率从70.12%的微平均准确率提升至77.54%。
• WildMatch在模型校准性方面显著优于监督的ResNet-50基线模型，其MCE为0.0872，ACE为0.0118，而监督模型的MCE为0.3920，ACE为0.1490。
• 指令微调的字幕生成流程生成的描述在分类任务中更具实用性，且在幻觉控制方面优于零样本或微调基线模型。
• GPT-4评分确认，指令微调的字幕在细节与准确性方面更优，平均得分为4.55/5.0，显著优于基线模型。
• 该框架在未见区域展现出强大的泛化能力，当使用置信度阈值进行人工介入路由时，对70%的数据集子集实现了超过85%的分类准确率。