[论文解读] Usefulness of interpretability methods to explain deep learning based plant stress phenotyping

Koushik Nagasubramanian, Asheesh K. Singh+3 more|arXiv (Cornell University)|Jul 11, 2020

Smart Agriculture and AI参考文献 29被引用 6

一句话总结

本研究评估了七种可解释性方法——显著性图、SmoothGrad、引导反向传播、Deep Taylor分解、积分梯度、LRP和梯度×输入——用于解释基于DenseNet-121模型的深度学习大豆胁迫分类。该模型在16,573张RGB叶片图像上进行训练，分类准确率达到95.05%。可解释性方法揭示了具有生物学合理性的特征以及虚假相关性，支持其作为植物表型分析中假设生成工具的使用。

ABSTRACT

Deep learning techniques have been successfully deployed for automating plant stress identification and quantification. In recent years, there is a growing push towards training models that are interpretable -i.e. that justify their classification decisions by visually highlighting image features that were crucial for classification decisions. The expectation is that trained network models utilize image features that mimic visual cues used by plant pathologists. In this work, we compare some of the most popular interpretability methods: Saliency Maps, SmoothGrad, Guided Backpropogation, Deep Taylor Decomposition, Integrated Gradients, Layer-wise Relevance Propagation and Gradient times Input, for interpreting the deep learning model. We train a DenseNet-121 network for the classification of eight different soybean stresses (biotic and abiotic). Using a dataset consisting of 16,573 RGB images of healthy and stressed soybean leaflets captured under controlled conditions, we obtained an overall classification accuracy of 95.05 \%. For a diverse subset of the test data, we compared the important features with those identified by a human expert. We observed that most interpretability methods identify the infected regions of the leaf as important features for some -- but not all -- of the correctly classified images. For some images, the output of the interpretability methods indicated that spurious feature correlations may have been used to correctly classify them. Although the output explanation maps of these interpretability methods may be different from each other for a given image, we advocate the use of these interpretability methods as `hypothesis generation' mechanisms that can drive scientific insight.

研究动机与目标

• 评估多种可解释性方法在解释植物胁迫表型分析中深度学习预测结果方面的有用性。
• 确定可解释性方法是否能识别出与植物病理学家视觉判断一致的生物学相关特征。
• 调查正确分类的图像是否可能因数据集偏差导致依赖虚假特征相关性。
• 评估错误分类的图像是否仍能生成与专家识别症状一致的有意义解释图。
• 倡导将可解释性方法作为假设生成工具，以支持植物病理学中的科学发现。

提出的方法

• 在代表八种生物性和非生物性胁迫类型的16,573张大豆小叶RGB图像上训练了一个DenseNet-121卷积神经网络。
• 应用了七种可解释性方法：显著性图、SmoothGrad、引导反向传播、Deep Taylor分解、积分梯度、逐层显著性传播（LRP）和梯度×输入。
• 将解释图归一化至[0,1]区间，以进行视觉对比和与专家识别的胁迫症状的定性评估。
• 对90张测试图像的多样化子集（每类10张）进行视觉检查，以评估关键特征的定位情况。
• 将模型预测结果与解释输出与植物病理学家提供的真实标注进行比较，以评估生物学合理性。
• 使用成像条件一致的受控数据集，以最小化解释分析中的混杂变量影响。

实验结果

研究问题

• RQ1 可解释性方法是否将大豆叶片图像中的感染或症状区域识别为正确分类的最关键特征？
• RQ2 可解释性方法能否检测到训练数据中的虚假相关性，这些相关性虽导致正确分类，但推理过程错误？
• RQ3 错误分类的图像是否仍能生成将注意力集中在生物学相关症状上的解释图，表明存在混淆的视觉线索？
• RQ4 不同可解释性方法在相同输入图像上的视觉输出有何差异？这些差异是否影响可解释性的可靠性？
• RQ5 可解释性方法在多大程度上可作为植物病理学家和育种者识别新症状或混淆症状的假设生成工具？

主要发现

• DenseNet-121模型在16,573张大豆叶片图像的测试集上，对八种胁迫类型实现了95.05%的分类准确率。
• 在随机选取的90张正确分类图像中，有6张（5张来自青蛙眼叶斑病，1张来自缺钾）的可解释性方法突出了非感染区域，表明其依赖于虚假相关性。
• 即使在错误分类的图像中，多种方法生成的解释图仍能将注意力集中在感染区域，表明混淆症状可能是导致误分类的原因。
• 同一张图像上，不同可解释性方法的输出存在显著差异，但所有方法在某些情况下仍能识别出相关特征。
• 尽管视觉表现存在差异，可解释性方法在存在症状时始终一致地突出显示了具有生物学合理性的特征，如叶绿素缺失和坏死。
• 本研究结论认为，可解释性方法最有效的用途并非作为确定性解释工具，而是作为假设生成工具，以引导领域专家识别新发现或被忽视的表型标记。