[论文解读] Out-of-distribution detection algorithms for robust insect classification

Mojdeh Saadati, Aditya Balu+6 more|arXiv (Cornell University)|May 2, 2023

Smart Agriculture and AIAgricultural and Biological Sciences被引用 3

一句话总结

本文评估了分布外（OOD）检测算法——最大Softmax概率（MSP）、马氏距离（MAH）和基于能量的模型（EBM）——以提升农业应用中基于深度学习的昆虫分类的鲁棒性。EBM表现最佳，尤其在数据不平衡情况下，使模型能够避免对不确定预测的输出，从而增强在实际部署中的可信度。

ABSTRACT

Deep learning-based approaches have produced models with good insect classification accuracy; Most of these models are conducive for application in controlled environmental conditions. One of the primary emphasis of researchers is to implement identification and classification models in the real agriculture fields, which is challenging because input images that are wildly out of the distribution (e.g., images like vehicles, animals, humans, or a blurred image of an insect or insect class that is not yet trained on) can produce an incorrect insect classification. Out-of-distribution (OOD) detection algorithms provide an exciting avenue to overcome these challenge as it ensures that a model abstains from making incorrect classification prediction of non-insect and/or untrained insect class images. We generate and evaluate the performance of state-of-the-art OOD algorithms on insect detection classifiers. These algorithms represent a diversity of methods for addressing an OOD problem. Specifically, we focus on extrusive algorithms, i.e., algorithms that wrap around a well-trained classifier without the need for additional co-training. We compared three OOD detection algorithms: (i) Maximum Softmax Probability, which uses the softmax value as a confidence score, (ii) Mahalanobis distance-based algorithm, which uses a generative classification approach; and (iii) Energy-Based algorithm that maps the input data to a scalar value, called energy. We performed an extensive series of evaluations of these OOD algorithms across three performance axes: (a) extit{Base model accuracy}: How does the accuracy of the classifier impact OOD performance? (b) How does the extit{level of dissimilarity to the domain} impact OOD performance? and (c) extit{Data imbalance}: How sensitive is OOD performance to the imbalance in per-class sample size?

研究动机与目标

• 解决模型在真实农业环境中遇到分布外（OOD）输入（如非昆虫或未训练过的物种）时分类不可靠的挑战。
• 评估最先进OOD检测算法——MSP、MAH和EBM——在基于超过200万张图像训练的大型昆虫分类模型上的鲁棒性。
• 评估模型准确率、OOD输入与训练数据的差异程度以及数据不平衡对OOD检测性能的影响，以指导农业中的实际部署。
• 为在数据分布发生偏移的田间条件下部署可靠、可信的昆虫分类系统提供可操作的指导。

提出的方法

• 使用来自iNaturalist等多样化来源的超过200万张图像，对142种与农业相关的昆虫物种训练了一个深度学习分类器。
• 应用了三种OOD检测算法：(1) 最大Softmax概率（MSP），使用最高Softmax概率作为置信度分数；(2) 马氏距离（MAH），基于类别条件特征分布的生成建模；以及(3) 基于能量的模型（EBM），为输入分配一个标量能量分数。
• 从三个维度评估OOD性能：基础模型准确率、输入与训练数据的差异程度，以及训练类别中的数据不平衡。
• 使用AUROC（受试者工作特征曲线下面积）作为主要指标，量化不同OOD数据集（包括非昆虫图像和不平衡类别分布）下的OOD检测性能。
• 生成具有不同类别不平衡程度的合成数据，以模拟真实农业数据分布，并评估算法对不平衡的敏感性。
• 在三个分布内（ID）子集上比较OOD检测性能：平衡集、不平衡集，以及从原始数据集分布中均匀采样的子集。

Figure 1 : Out-of-distribution visualization in insect classification. The OOD classifier tries to define decision boundaries for each insect while ensuring no non-insect images fall into any known insect classes. There is a spectrum of OOD images. Here, we distinguish them as contextually near OOD

实验结果

研究问题

• RQ1 不同OOD检测算法下，基础模型准确率与OOD检测性能之间的相关性如何？
• RQ2 OOD输入与训练分布之间的差异程度如何影响OOD检测算法的性能？
• RQ3 OOD检测算法对训练数据中的数据不平衡有多敏感，特别是在农业昆虫分类背景下？
• RQ4 哪种OOD检测算法在不同水平的数据不平衡和输入分布偏移下表现出最稳健的性能？

主要发现

• 基于能量的模型（EBM）在所有评估条件下均实现了最高的OOD检测性能，尤其在数据不平衡情况下AUROC始终处于高位。
• MSP表现出较强的OOD检测性能，且对数据不平衡具有鲁棒性，表明其在具有不均衡类别分布的真实农业应用中具有适用性。
• 马氏距离（MAH）算法对数据不平衡敏感，在不平衡数据集上性能显著下降，凸显其在实际部署中的关键局限性。
• 对于参数较少的模型，基础分类器准确率与OOD检测性能之间存在正相关关系；但在更复杂的模型中，这种相关性消失。
• 当OOD输入与训练或预训练数据分布更相似时，EBM表现出更优的鲁棒性，表明其在现实分布偏移下具有更好的泛化能力。
• 结果表明，OOD检测使模型能够避免对不确定或分布外输入进行预测，从而提高自主农业系统中的可靠性与可信度。

Figure 2 : The analysis process: Box 1 represents the data. We split the ID-distribution data into three sub-datasets that are used for training the insect classifier, training the Mahalanobis distance OOD algorithm, and testing the results. We also utilize four different OOD datasets for testing ou