[论文解读] PLANesT-3D: A new annotated dataset for segmentation of 3D plant point clouds

Kerem Mertoğlu, Yusuf Şalk+7 more|arXiv (Cornell University)|Jul 30, 2024

Remote Sensing and LiDAR Applications被引用 4

一句话总结

本文介绍了PLANesT-3D，这是一个新的公开数据集，包含来自三种植物物种——甜椒、玫瑰和醋栗——的34个高分辨率、彩色3D点云，均带有语义（叶/茎）和实例级标注。该研究评估了包括PointNet++、RoseSegNet和一种新方法SP-LSCnet在内的深度学习模型，其中RoseSegNet在甜椒植物上的平均交并比（MIoU）达到95.5%，展示了该数据集在推动自动化表型分析中3D植物分割研究方面的价值。

ABSTRACT

Creation of new annotated public datasets is crucial in helping advances in 3D computer vision and machine learning meet their full potential for automatic interpretation of 3D plant models. Despite the proliferation of deep neural network architectures for segmentation and phenotyping of 3D plant models in the last decade, the amount of data, and diversity in terms of species and data acquisition modalities are far from sufficient for evaluation of such tools for their generalization ability. To contribute to closing this gap, we introduce PLANesT-3D; a new annotated dataset of 3D color point clouds of plants. PLANesT-3D is composed of 34 point cloud models representing 34 real plants from three different plant species: extit{Capsicum annuum}, extit{Rosa kordana}, and extit{Ribes rubrum}. Both semantic labels in terms of "leaf" and "stem", and organ instance labels were manually annotated for the full point clouds. PLANesT-3D introduces diversity to existing datasets by adding point clouds of two new species and providing 3D data acquired with the low-cost SfM/MVS technique as opposed to laser scanning or expensive setups. Point clouds reconstructed with SfM/MVS modality exhibit challenges such as missing data, variable density, and illumination variations. As an additional contribution, SP-LSCnet, a novel semantic segmentation method that is a combination of unsupervised superpoint extraction and a 3D point-based deep learning approach is introduced and evaluated on the new dataset. The advantages of SP-LSCnet over other deep learning methods are its modular structure and increased interpretability. Two existing deep neural network architectures, PointNet++ and RoseSegNet, were also tested on the point clouds of PLANesT-3D for semantic segmentation.

研究动机与目标

• 为解决公开可用、高质量的3D植物点云数据集在语义和实例标注方面稀缺的问题。
• 支持在多种植物物种上对3D植物分割的深度学习模型进行基准测试和训练。
• 在新的、具有挑战性的3D植物分割基准上，评估最先进深度学习架构和一种新方法SP-LSCnet的性能。
• 支持未来在迁移学习、小样本学习以及3D植物分析中颜色信息整合方面的研究。

提出的方法

• 通过在受控条件下拍摄的数百张RGB图像，利用运动恢复结构（SfM）和多视角立体视觉（MVS）重建技术生成数据集。
• 通过人工标注，将所有点在语义层面标记为“叶”或“茎”，并在实例层面为每个器官单独标注。
• 提出一种新方法SP-LSCnet，结合无监督超点提取与基于3D点的深度学习网络，以提升分割性能。
• 在PLANesT-3D数据集上训练并评估了三种深度学习模型——PointNet++、RoseSegNet和SP-LSCnet，以平均交并比（MIoU）为主要评估指标。
• 对所有模型应用了后处理技术，如标签平滑和基于图的重新评估，以提升分割结果。
• 该数据集包含34个完整的3D点云，每个点云包含60万至550万个点，使用高分辨率RGB相机采集，并重建为密集的彩色点云。

实验结果

研究问题

• RQ1 现有3D语义分割模型在新的、多样化且高分辨率的3D植物点云数据集上的表现如何？
• RQ2 结合超点提取与深度学习的新方法（SP-LSCnet）在复杂植物结构上的分割精度能提升到何种程度？
• RQ3 在3D点云中引入颜色信息如何影响分割性能？其对未来模型开发有何潜力？
• RQ4 在一种植物物种上训练的模型能否泛化到其他物种？这对植物表型分析中的迁移学习意味着什么？

主要发现

• RoseSegNet在甜椒植物上的平均交并比（MIoU）达到95.5%，在玫瑰植物上为92.0%，在醋栗植物上为95.1%，优于其他模型。
• SP-LSCnet取得了具有竞争力的结果，MIoU分别为95.0%（甜椒）、89.8%（玫瑰）和94.5%（醋栗），证明了其混合超点与深度学习方法的有效性。
• 与RoseSegNet和SP-LSCnet相比，PointNet++性能较低，尤其在复杂且密集的植物结构上表现不佳，表明其在处理点密度变化和细微几何结构方面存在局限。
• 所有模型在小而孤立或重叠的植物部分上均表现困难，特别是在点密度较低或结构复杂区域。
• 该数据集的高分辨率、彩色点云及详细标注为未来3D植物分割模型的训练与评估提供了坚实基础。
• 三种不同植物物种的可用性，为未来跨物种迁移学习及深度学习模型在植物表型分析中泛化能力的研究提供了可能。