[论文解读] Training Deep Learning Algorithms on Synthetic Forest Images for Tree Detection

Vincent Grondin, François Pomerleau+1 more|arXiv (Cornell University)|Oct 8, 2022

Remote Sensing and LiDAR Applications被引用 9

一句话总结

本文提出使用通过Unity和Gaia生成的43,000张图像的合成森林数据集，训练深度学习模型进行树木检测，实现在真实世界图像上的强大迁移性能。研究结果表明，分割和深度模态显著提升了检测精度，而关键点检测使伐木切口估计的平均误差达到5.2像素。

ABSTRACT

Vision-based segmentation in forested environments is a key functionality for autonomous forestry operations such as tree felling and forwarding. Deep learning algorithms demonstrate promising results to perform visual tasks such as object detection. However, the supervised learning process of these algorithms requires annotations from a large diversity of images. In this work, we propose to use simulated forest environments to automatically generate 43 k realistic synthetic images with pixel-level annotations, and use it to train deep learning algorithms for tree detection. This allows us to address the following questions: i) what kind of performance should we expect from deep learning in harsh synthetic forest environments, ii) which annotations are the most important for training, and iii) what modality should be used between RGB and depth. We also report the promising transfer learning capability of features learned on our synthetic dataset by directly predicting bounding box, segmentation masks and keypoints on real images. Code available on GitHub (https://github.com/norlab-ulaval/PercepTreeV1).

研究动机与目标

• 解决林业领域深度学习模型训练中注释森林图像稀缺的问题。
• 评估在合成森林图像上训练的深度学习模型在树木检测、分割和关键点预测方面的性能。
• 研究不同注释形式（边界框、分割掩码、关键点）和模态（RGB与深度）对模型性能的影响。
• 评估在合成数据上训练的模型向真实世界森林环境迁移的能力。

提出的方法

• 使用Unity和Gaia生成43,000张逼真的合成森林图像，包含程序化地形、树木模型以及动态天气/光照条件。
• 利用模拟器的自动标注流水线，对边界框、分割掩码和关键点（直径、伐木切口、树顶、树中）进行像素级注释。
• 在合成数据集上使用ResNeXt-101和ResNet-101主干网络训练Mask R-CNN模型，实现实例分割和多任务检测。
• 使用AP（平均精度）指标在合成图像和真实图像上评估模型在边界框、掩码和关键点上的性能。
• 比较RGB与深度模态的性能表现，并分析关键点预测在伐木切口和直径估计中的误差分布。
• 在未进行微调的情况下测试零样本迁移至真实图像的效果，评估检测与分割结果的定性质量。

实验结果

研究问题

• RQ1 在合成森林图像上训练的深度学习模型在树木检测方面可达到何种性能？
• RQ2 哪种注释形式（边界框、分割掩码、关键点）最有利于提升检测精度？
• RQ3 与仅使用RGB相比，引入深度模态是否能提升检测性能？
• RQ4 在多大程度上，基于合成数据训练的模型可以成功迁移到真实世界的森林环境中？

主要发现

• 分割掩码注释显著提升了边界框和关键点检测的性能，多任务学习中AP bb从59.25提升至58.34，AP kp达到80.19。
• 在合成数据中，深度模态的表现优于RGB，所有检测任务的平均精度均更高。
• 关键点检测在直径估计中的平均像素误差为5.2像素，垂直误差（σ_y）约为水平误差（σ_x）的三倍，表明垂直定位存在困难。
• 模型在迁移到真实图像时表现出高精度但低准确率，表明其对相似树形外观具有良好的泛化能力，但对域偏移存在挑战。
• 增加关键点分支会降低边界框和掩码任务的性能，表明多任务学习对关键点检测的增益大于对其他任务的帮助。
• 尽管存在现实差距，模型仍成功在真实图像上预测出分割掩码和关键点，展现出有希望的零样本迁移潜力。