[论文解读] Tree Morphology for Phenotyping from Semantics-Based Mapping in Orchard Environments

Wenbo Dong, Volkan Isler|arXiv (Cornell University)|Apr 16, 2018

Remote Sensing and LiDAR Applications参考文献 27被引用 6

一句话总结

本文提出一种仅使用RGB-D相机的视觉系统，可在果园环境中精确估计树木形态参数——树高、树冠体积和树干直径。通过融合双侧树行的三维重建结果，并利用语义先验（树干和地面平面），结合鲁棒拟合与语义SfM，该方法实现了高精度，树高平均误差为4 cm，树干直径平均误差为0.49 cm。

ABSTRACT

Measuring tree morphology for phenotyping is an essential but labor-intensive activity in horticulture. Researchers often rely on manual measurements which may not be accurate for example when measuring tree volume. Recent approaches on automating the measurement process rely on LIDAR measurements coupled with high-accuracy GPS. Usually each side of a row is reconstructed independently and then merged using GPS information. Such approaches have two disadvantages: (1) they rely on specialized and expensive equipment, and (2) since the reconstruction process does not simultaneously use information from both sides, side reconstructions may not be accurate. We also show that standard loop closure methods do not necessarily align tree trunks well. In this paper, we present a novel vision system that employs only an RGB-D camera to estimate morphological parameters. A semantics-based mapping algorithm merges the two-sides 3D models of tree rows, where integrated semantic information is obtained and refined by robust fitting algorithms. We focus on measuring tree height, canopy volume and trunk diameter from the optimized 3D model. Experiments conducted in real orchards quantitatively demonstrate the accuracy of our method.

研究动机与目标

• 为解决基于激光雷达的树木形态参数估计方法存在的问题，如传感器成本高，且在拼接双侧扫描时易出现错位。
• 开发一种低成本、纯视觉的解决方案，利用RGB-D相机在真实果园环境中实现高精度的三维重建与形态参数估计。
• 通过在重建流程中引入语义先验（树干与地面平面），解决长距离RGB-D视频序列中的位姿漂移与错位问题。
• 实现在无需GPS或专用硬件支持下的自动化、高精度树高、树冠体积与树干直径测量。
• 为精准农业中的表型分析提供一种可扩展、低成本的替代方案，以替代现有的激光雷达-GNSS系统。

提出的方法

• 系统使用安装在棍棒或移动平台上的RGB-D相机，从果园中树行的两侧采集三维数据。
• 分别对每一侧进行三维重建，采用语义感知的SfM方法，并通过鲁棒拟合估计初始树干直径与局部地面平面。
• 利用语义先验（具体为树干区域与平面地面区域）将双侧三维模型对齐并融合，生成全局优化的三维重建结果。
• 将树干直径与地面平面估计结果整合进SfM框架，以提升定位精度并减少位姿漂移。
• 通过优化的alpha半径（0.8 m）进行alpha形状分割，计算树冠体积，以避免孔洞并最小化高估。
• 在经过优化融合的三维模型上，通过自动分割与几何拟合，估算树高与树干直径。

实验结果

研究问题

• RQ1 仅使用RGB-D相机的视觉系统是否能在真实果园环境中实现精确的树木形态参数估计？
• RQ2 如何有效利用语义先验（树干与地面）对单一路径采集的双侧三维重建结果进行对齐与融合？
• RQ3 与真实值相比，该方法在树高、树冠体积与树干直径估计方面的可实现精度如何？
• RQ4 在纹理稀疏且受风扰动的户外果园场景中，鲁棒几何拟合与语义SfM是否能有效减少位姿漂移并提升重建质量？
• RQ5 alpha半径的选择如何影响树冠体积估计？何种取值能实现最佳精度与真实性？

主要发现

• 在Dataset-III的14棵树中，树高估计的平均误差为4 cm，表明该方法在真实环境条件下具有高精度。
• 在Dataset-II的14棵树中，树干直径估计的平均误差为0.49 cm，表明该方法在小直径树干上表现优异。
• 在低纹理、强风干扰的果园环境中，该方法在位姿估计与模型对齐方面优于标准SfM与SLAM技术。
• 采用优化alpha半径（0.8 m）的alpha形状方法生成了稳定、无孔洞的树冠模型，相比简单圆柱模型更有效避免了高估。
• 将语义先验（树干与地面）整合进SfM显著提升了双侧重建结果的对齐效果，有效减少了ICP方法或仅依赖回环检测方法常见的错位误差。
• 本系统是首个仅使用RGB-D相机即实现精确树木形态参数估计的方法，彻底消除了对昂贵激光雷达或GPS系统的需求。