[论文解读] Sub-Meter Tree Height Mapping of California using Aerial Images and LiDAR-Informed U-Net Model

Fabien H Wagner, Sophia Roberts+8 more|arXiv (Cornell University)|Jun 2, 2023

Remote Sensing and LiDAR Applications被引用 4

一句话总结

本研究利用2020年美国农业部-NAIP航拍影像（60厘米分辨率）和基于LiDAR的U-Net回归模型，生成了加州亚米级分辨率的树冠高程图（0.6米）。该模型在多种森林类型中实现了2.9米的平均绝对误差，能够从垂直视角的光学影像中准确重建三维树结构，优于现有全球树冠高程产品，即使对于高达50米的树木也表现优异。

ABSTRACT

Tree canopy height is one of the most important indicators of forest biomass, productivity, and species diversity, but it is challenging to measure accurately from the ground and from space. Here, we used a U-Net model adapted for regression to map the canopy height of all trees in the state of California with very high-resolution aerial imagery (60 cm) from the USDA-NAIP program. The U-Net model was trained using canopy height models computed from aerial LiDAR data as a reference, along with corresponding RGB-NIR NAIP images collected in 2020. We evaluated the performance of the deep-learning model using 42 independent 1 km$^2$ sites across various forest types and landscape variations in California. Our predictions of tree heights exhibited a mean error of 2.9 m and showed relatively low systematic bias across the entire range of tree heights present in California. In 2020, trees taller than 5 m covered ~ 19.3% of California. Our model successfully estimated canopy heights up to 50 m without saturation, outperforming existing canopy height products from global models. The approach we used allowed for the reconstruction of the three-dimensional structure of individual trees as observed from nadir-looking optical airborne imagery, suggesting a relatively robust estimation and mapping capability, even in the presence of image distortion. These findings demonstrate the potential of large-scale mapping and monitoring of tree height, as well as potential biomass estimation, using NAIP imagery.

研究动机与目标

• 开发一种可扩展的、高分辨率的方法，仅使用光学航拍影像和有限的LiDAR训练数据，对大面积林地区域的树冠高程进行制图。
• 克服现有全球树冠高程图（如10–30米分辨率）分辨率粗糙、难以满足本地林业和保护应用精度需求的局限性。
• 评估深度学习是否能够通过学习LiDAR衍生的高度参考数据中的几何模式，从垂直视角的二维光学影像中重建三维树结构。
• 实现在加州这一森林生物量和生物多样性丰富的区域的大规模亚米级树高制图，以提升碳储量监测和保护规划能力。
• 评估模型在多种森林类型和景观条件（包括山地和成像畸变环境）下的可迁移性和鲁棒性。

提出的方法

• 训练了一个基于U-Net的卷积神经网络（CNN）回归模型，用于从2020年采集的RGB-NIR NAIP航拍影像（60厘米分辨率）中预测树冠高程。
• 使用LiDAR生成的树冠高程模型（CHMs）作为模型训练的真值标签，确保树高估计具有高精度参考数据。
• 应用数据增强和归一化技术，提升模型在不同森林类型和成像条件下的泛化能力。
• 仅使用单张NVIDIA RTX 3090 GPU进行训练和推理，使模型可在标准研究硬件上部署，无需依赖高端计算集群。
• 整合了现有的建筑物轮廓数据集，以减少在真值CHMs中将建筑物误分类为植被的情况。
• 在加州覆盖多种森林类型和地形条件的42个独立1 km²测试区域上验证了模型性能。

Figure 1: Mosaic of NAIP aerial images containing 11,076 tiles that cover the state of California, USA, from the 2020 campaign ( $\sim$ 430,000 km 2 ). Only the red, blue, and green bands were used for visualization purposes. The map displays the extent of the NAIP images used for model training (sh

实验结果

研究问题

• RQ1 基于LiDAR衍生的树冠高程图训练的深度学习模型，能否从垂直视角的二维光学航拍影像中重建准确的三维树结构？
• RQ2 与现有全球树冠高程产品相比，基于U-Net的回归模型在空间分辨率和精度方面表现如何？
• RQ3 该模型在多种森林类型和景观差异（包括山地和图像畸变区域）下的泛化能力如何？
• RQ4 该模型能否在不出现饱和的情况下估计超过40米的树高？其在加州最高树木（如海岸红杉）上的表现如何？
• RQ5 该模型的架构和推理流程是否适合在标准硬件上大规模部署，从而为保护和林业应用提供更广泛的应用机会？

主要发现

• 在42个独立的1 km²验证区域中，模型预测树冠高程的平均绝对误差（MAE）为2.9米，且在整个观测树高范围内系统性偏差极低。
• 模型成功估计了高达50米的树高而未出现饱和现象，优于现有全球树冠高程产品，如10米分辨率的Sentinel-2地图和30米分辨率的Landsat基地图。
• 模型能够以高保真度从二维垂直视角航拍影像中重建三维树结构，支持提取个体树木的高程和树冠尺寸等指标。
• 2020年，树高超过5米的区域约占加州总面积的19.3%，这是评估生物量和碳储量的关键指标。
• 模型在山地和地形复杂的区域表现出稳健性能，表明其对高分辨率影像中常见的几何畸变具有较强鲁棒性。
• 模型的训练和推理流程高效，可在单张高端GPU（NVIDIA RTX 3090）上运行，使大多数研究和保护机构均可轻松部署。

Figure 2: U-Net model architecture used for canopy height estimation from VHR NAIP images.