[论文解读] Semi-supervised GAN for Classification of Multispectral Imagery Acquired by UAVs

Hamideh Kerdegari, Manzoor Razaak+2 more|arXiv (Cornell University)|May 24, 2019

Smart Agriculture and AI参考文献 13被引用 10

一句话总结

本文提出了一种半监督生成对抗网络（GAN）框架，旨在利用有限的标注数据提升多光谱无人机（UAV）影像的分类性能。通过生成器生成逼真的合成影像，并在少量标注样本上训练多类别分类器作为判别器，该方法在weedNet数据集上实现了高精度，证明了在精准农业低数据场景下，基于GAN的数据增强具有显著有效性。

ABSTRACT

Unmanned aerial vehicles (UAV) are used in precision agriculture (PA) to enable aerial monitoring of farmlands. Intelligent methods are required to pinpoint weed infestations and make optimal choice of pesticide. UAV can fly a multispectral camera and collect data. However, the classification of multispectral images using supervised machine learning algorithms such as convolutional neural networks (CNN) requires large amount of training data. This is a common drawback in deep learning we try to circumvent making use of a semi-supervised generative adversarial networks (GAN), providing a pixel-wise classification for all the acquired multispectral images. Our algorithm consists of a generator network that provides photo-realistic images as extra training data to a multi-class classifier, acting as a discriminator and trained on small amounts of labeled data. The performance of the proposed method is evaluated on the weedNet dataset consisting of multispectral crop and weed images collected by a micro aerial vehicle (MAV). The results by the proposed semi-supervised GAN achieves high classification accuracy and demonstrates the potential of GAN-based methods for the challenging task of multispectral image classification.

研究动机与目标

• 解决深度学习在多光谱无人机影像分类中受限于标注训练数据的挑战。
• 在仅需极少人工标注数据的前提下，实现精准农业中杂草与作物的高精度分类。
• 利用生成对抗网络合成逼真的多光谱影像以实现数据增强。
• 开发一种半监督学习框架，提升分类器性能，而无需依赖大量人工标注。
• 证明在资源受限的遥感应用中，使用GAN增强分类可行。

提出的方法

• 采用条件GAN架构，其中生成器网络从随机噪声和类别标签生成逼真的多光谱影像。
• 在少量标注的多光谱影像上训练多类别分类器（判别器），以区分真实影像与生成影像。
• 利用训练好的分类器作为弱监督信号，优化生成器，从而提升合成数据的质量与相关性。
• 以对抗方式迭代训练生成器与判别器，使生成器学习生成逼真且类别特定的影像。
• 在真实标注数据与生成的合成数据上联合微调最终分类器，以增强泛化能力与性能。
• 采用通过微型飞行器（MAVs）采集的weedNet数据集作为评估基准。

实验结果

研究问题

• RQ1 在仅使用少量标注数据的情况下，半监督GAN能否有效提升多光谱无人机影像的分类准确率？
• RQ2 GAN生成的合成影像在精准农业的真实多光谱分类任务中泛化能力如何？
• RQ3 与仅使用有限标注的监督学习相比，对抗性数据增强能带来多大的性能提升？
• RQ4 所提方法在多大程度上减少了对大规模人工标注的依赖，以实现基于无人机的作物监测？
• RQ5 在真实与合成多光谱数据组合训练下，分类器的鲁棒性如何？

主要发现

• 尽管仅使用少量标注训练数据，所提出的半监督GAN在weedNet数据集上仍实现了高分类准确率。
• 与仅使用真实数据训练相比，引入GAN生成的合成影像显著提升了分类器性能。
• 该方法展现出强大的泛化能力，能够生成有效的、逼真的多光谱影像用于数据增强。
• 在低数据场景下，采用半监督GAN框架训练的分类器优于基线监督模型。
• 结果证实，基于GAN的半监督学习在复杂遥感应用（如农业杂草检测）中具有巨大潜力。
• 该框架有效降低了对大规模人工标注的依赖，使其在真实世界精准农业部署中更具实用性。