[论文解读] Self-Supervised Backbone Framework for Diverse Agricultural Vision Tasks

Sudhir Sornapudi, Rajhans Singh|arXiv (Cornell University)|Mar 22, 2024

Smart Agriculture and AIAgricultural and Biological Sciences被引用 3

一句话总结

本文提出一种基于SimCLR的自监督对比学习框架，利用大规模未标注的农田图像数据集对ResNet-50主干网络进行预训练，使模型在仅需少量标注数据的情况下，即可在多种下游视觉任务中实现优异性能。该方法仅使用1%的标注数据即达到80.2%的准确率，显著降低了标注成本，同时提升了数据效率、迁移学习能力与模型收敛速度。

ABSTRACT

Computer vision in agriculture is game-changing with its ability to transform farming into a data-driven, precise, and sustainable industry. Deep learning has empowered agriculture vision to analyze vast, complex visual data, but heavily rely on the availability of large annotated datasets. This remains a bottleneck as manual labeling is error-prone, time-consuming, and expensive. The lack of efficient labeling approaches inspired us to consider self-supervised learning as a paradigm shift, learning meaningful feature representations from raw agricultural image data. In this work, we explore how self-supervised representation learning unlocks the potential applicability to diverse agriculture vision tasks by eliminating the need for large-scale annotated datasets. We propose a lightweight framework utilizing SimCLR, a contrastive learning approach, to pre-train a ResNet-50 backbone on a large, unannotated dataset of real-world agriculture field images. Our experimental analysis and results indicate that the model learns robust features applicable to a broad range of downstream agriculture tasks discussed in the paper. Additionally, the reduced reliance on annotated data makes our approach more cost-effective and accessible, paving the way for broader adoption of computer vision in agriculture.

研究动机与目标

• 通过利用自监督表示学习，减少农业计算机视觉中对昂贵且耗时的人工标注的依赖。
• 评估自监督预训练在多样化农业视觉任务（如分类、检测、分割和视频分析）中的有效性。
• 证明针对农业图像的领域特定预训练优于通用领域预训练，在下游迁移学习中表现更优。
• 探索自监督特征在实际应用中的潜力，包括异常值检测、图像检索和图像重建。
• 开发并发布PixelAffinity，一个基于自监督特征的、面向大规模农业生态数据库的基于内容的图像检索网络工具。

提出的方法

• 在来自手机和卫星的真实农田图像大规模未标注数据集上，使用SimCLR对比学习方法对ResNet-50主干网络进行预训练。
• 采用数据增强策略（如随机裁剪、颜色抖动和高斯模糊）生成对比学习的正样本对。
• 仅使用少量标注数据（包括1%用于评估）对预训练主干网络进行微调，应用于下游任务。
• 利用学习到的特征完成下游任务，如图像分类、目标检测、语义分割和视频帧选择。
• 开发PixelAffinity，一个基于自监督特征的网络端内容检索系统，用于在大规模农业数据库中搜索语义相似图像。
• 探索利用预训练编码器作为引导网络进行图像重建与编辑，结合GAN、PixelCNN和扩散模型，并采用感知损失函数。

Figure 1 : Wide range of applications based on representations learned from self-supervised modeling.

实验结果

研究问题

• RQ1 在未标注的农田图像上进行自监督表示学习，能否生成在多样化下游视觉任务中具有良好泛化能力的鲁棒特征？
• RQ2 与通用领域预训练相比，基于农业领域特定数据的预训练在迁移学习性能方面表现如何？
• RQ3 自监督模型在农业计算机视觉中，能在多大程度上减少对标注数据的需求，尤其是在极小监督设置下？
• RQ4 自监督特征能否有效支持高级应用，如异常值检测、视频帧选择和基于内容的图像检索？
• RQ5 自监督特征在农业图像的图像重建与编辑任务中，引导效果如何？

主要发现

• 仅使用1%标注数据微调自监督的ResNet-50主干网络，即在下游任务中达到80.2%的准确率，证明了极高的数据效率。
• 在农业数据上预训练的模型优于在通用领域数据上预训练的模型，凸显了领域特定预训练的重要性。
• 与从随机初始化训练相比，自监督方法在微调阶段实现了更快的模型收敛速度。
• 利用自监督特征进行聚类分析，成功识别出农业数据集中的异常值和离群点。
• 基于自监督特征构建的PixelAffinity工具，实现了在大规模农业生态数据库中高效的内容驱动图像检索。
• 自监督特征在视频预处理中表现有效，可实现冗余帧的识别与关键帧的选择，适用于下游应用。

Figure 2 : Illustration of the two-stage process: self-supervised pre-training by contrasting different views of the same image and label-light supervised fine-tuning for downstream tasks.