[论文解读] SOUL model docker image for the paper: Semantic segmentation of sparse irregular point clouds for leaf/wood discrimination

Yuchen Bai, Jean-Baptiste Durand+2 more|arXiv (Cornell University)|May 26, 2023

Remote Sensing and LiDAR Applications被引用 4

一句话总结

该论文提出SOUL，一种基于PointNet++的深度学习模型，用于区分稀疏、不规则的无人机LiDAR点云中的树叶与树干点。通过几何特征工程和重平衡损失函数，有效缓解类别不平衡与稀疏性问题，在无人机数据上实现SOTA性能，树叶点的精确率为98.3%，召回率为97.8%。

ABSTRACT

LiDAR (Light Detection and Ranging) has become an essential part of the remote sensing toolbox used for biosphere monitoring. In particular, LiDAR provides the opportunity to map forest leaf area with unprecedented accuracy, while leaf area has remained an important source of uncertainty affecting models of gas exchanges between the vegetation and the atmosphere. Unmanned Aerial Vehicles (UAV) are easy to mobilize and therefore allow frequent revisits to track the response of vegetation to climate change. However, miniature sensors embarked on UAVs usually provide point clouds of limited density, which are further affected by a strong decrease in density from top to bottom of the canopy due to progressively stronger occlusion. In such a context, discriminating leaf points from wood points presents a significant challenge due in particular to strong class imbalance and spatially irregular sampling intensity. Here we introduce a neural network model based on the Pointnet ++ architecture which makes use of point geometry only (excluding any spectral information). To cope with local data sparsity, we propose an innovative sampling scheme which strives to preserve local important geometric information. We also propose a loss function adapted to the severe class imbalance. We show that our model outperforms state-of-the-art alternatives on UAV point clouds. We discuss future possible improvements, particularly regarding much denser point clouds acquired from below the canopy.

研究动机与目标

• 解决在树叶点远多于树干点的稀疏、不规则无人机LiDAR点云中进行语义分割的挑战。
• 克服基于无人机的森林监测数据中类别不平衡与空间稀疏性问题。
• 开发一种仅依赖3D坐标的方法，避免森林LiDAR中常见的不可靠强度数据。
• 通过引入几何先验与鲁棒的训练损失函数，提升在不同森林类型与传感器配置下的泛化能力。
• 通过无人机平台实现准确、可重复的叶面积监测，支持气候建模与长期森林追踪。

提出的方法

• 采用PointNet++作为主干网络，从不规则点云中进行层次化特征学习。
• 提出一种新颖的空间划分策略——GVD（几何体积分割），用于生成精细化、局部化的训练样本。
• 在不同尺度上引入多种预计算的几何特征（如线性度、球面度、垂直度、PCA1），以增强局部几何表征能力。
• 采用重平衡损失函数，在训练过程中对少数类（树干）点进行随机采样，以稳定梯度并降低损失方差。
• 利用KNN-based标签传播方法，从高密度TLS数据中生成伪标签，用于ALS与ULS数据的监督训练，实现无人机数据的端到端训练。
• 仅使用3D坐标进行端到端训练，排除光谱或强度数据，确保在不同传感器与环境下的鲁棒性。

实验结果

研究问题

• RQ1 在不依赖强度数据的前提下，深度学习模型是否能在稀疏、不规则的无人机LiDAR点云中实现高精度的树叶/树干分割？
• RQ2 在极端类别不平衡与数据稀疏性条件下，几何特征工程在提升分割性能方面的有效性如何？
• RQ3 重平衡损失函数在缓解梯度不稳定性与提升模型收敛性方面的作用有多大？
• RQ4 SOUL模型是否能泛化至热带森林与无人机平台之外的不同森林类型与LiDAR采集模式？
• RQ5 与标准空间划分方法相比，所提出的GVD采样策略是否能提升训练效率与分割精度？

主要发现

• SOUL在无人机数据的树叶点上实现了98.3%的精确率、97.8%的召回率与96.2%的整体准确率，优于SOTA方法。
• 消融实验证实，在不同尺度上使用多种几何特征（如线性度、球面度、垂直度）可显著提升分割性能，尤其在树干检测方面表现突出。
• 重平衡损失函数通过减少由稀少少数类预测引起的梯度波动，显著稳定了训练过程。
• SOUL在较简单的森林类型（如温带森林）中泛化良好，并在多种LiDAR数据（包括TLS与MLS）上表现出色。
• 在点密度低且遮挡严重的ULS数据上，SOUL在冠层区域表现出色。
• 尽管在ULS数据上表现优异，SOUL在密集TLS数据上的精度有所下降，表明仍需针对特定领域进行微调或数据增强。