[论文解读] Stem-leaf segmentation and phenotypic trait extraction of maize shoots from three-dimensional point cloud

Chao Zhu, Miao Teng+3 more|arXiv (Cornell University)|Sep 7, 2020

Smart Agriculture and AI参考文献 30被引用 5

一句话总结

本文提出了一种基于3D点云的新型方法，用于玉米幼苗的自动茎叶分割与表型特征提取，结合骨架提取、粗分割和茎叶分类。该方法实现了高精度（平均F1分数为0.963），即使在紧密包裹的新叶情况下，也能精确测量六项关键表型特征，决定系数R² > 0.94。

ABSTRACT

Nowadays, there are many approaches to acquire three-dimensional (3D) point clouds of maize plants. However, automatic stem-leaf segmentation of maize shoots from three-dimensional (3D) point clouds remains challenging, especially for new emerging leaves that are very close and wrapped together during the seedling stage. To address this issue, we propose an automatic segmentation method consisting of three main steps: skeleton extraction, coarse segmentation based on the skeleton, fine segmentation based on stem-leaf classification. The segmentation method was tested on 30 maize seedlings and compared with manually obtained ground truth. The mean precision, mean recall, mean micro F1 score and mean over accuracy of our segmentation algorithm were 0.964, 0.966, 0.963 and 0.969. Using the segmentation results, two applications were also developed in this paper, including phenotypic trait extraction and skeleton optimization. Six phenotypic parameters can be accurately and automatically measured, including plant height, crown diameter, stem height and diameter, leaf width and length. Furthermore, the values of R2 for the six phenotypic traits were all above 0.94. The results indicated that the proposed algorithm could automatically and precisely segment not only the fully expanded leaves, but also the new leaves wrapped together and close together. The proposed approach may play an important role in further maize research and applications, such as genotype-to-phenotype study, geometric reconstruction and dynamic growth animation. We released the source code and test data at the web site https://github.com/syau-miao/seg4maize.git

研究动机与目标

• 为解决玉米幼苗中新生、紧密排列叶片的自动茎叶分割挑战。
• 开发一种稳健的自动化方法，从玉米幼苗的3D点云中提取表型特征。
• 实现精确、高通量的表型分析，以支持基因型到表型研究和植物生长建模。
• 通过精确提取几何与形态学数据，支持动态植物重建与生长动画。

提出的方法

• 首先，采用基于图的方法从玉米幼苗的3D点云中提取骨架，以表示植物的中心轴。
• 其次，基于骨架执行粗分割，利用几何接近度与曲率分析分离茎和叶区域。
• 第三，通过基于分割区域几何与空间特征训练的茎叶分类模型实现精细分割。
• 该方法整合多尺度滤波与区域生长技术，以提升密集重叠叶结构中的分割精度。
• 从分割后的点云中，通过几何测量提取植物高度、冠幅、茎高/茎径以及叶长/叶宽等表型特征。
• 通过在30株玉米幼苗上对比算法输出与人工标注的真值，建立验证流程以量化性能。

实验结果

研究问题

• RQ1 基于3D点云的方法能否准确分割紧贴茎部、新萌发的玉米叶片与茎及其他叶片？
• RQ2 所提出的方法在3D点云中提取植物高度和叶尺寸等关键表型特征的效果如何？
• RQ3 该分割性能在不同叶片成熟阶段和空间构型下是否保持稳定？
• RQ4 该方法能否支持玉米育种与功能基因组学中的自动化、高通量表型分析？
• RQ5 与人工标注相比，该算法在精确率、召回率和F1分数方面的表现如何？

主要发现

• 所提出的分割方法实现了0.963的平均F1分数，表明在区分茎与叶区域方面具有高精确率与高召回率。
• 平均精确率为0.964，平均召回率为0.966，表明正确识别真正例与最小化假正例之间具有良好的平衡。
• 平均过精度为0.969，证实了该分割方法在全部30株测试玉米幼苗中的鲁棒性。
• 六项表型特征——植物高度、冠幅、茎高与茎径、叶长与叶宽——的决定系数R²均超过0.94，表明与真值具有强相关性。
• 该方法成功分割了完全展开的叶片与紧密包裹的新叶，克服了早期玉米表型分析中的主要挑战。
• 源代码与测试数据已公开发布，支持可复现性，并推动植物表型组学研究的广泛应用。