[论文解读] Quantifying Urban Canopy Cover with Deep Convolutional Neural Networks

Bill Cai, Xiaojiang Li+1 more|arXiv (Cornell University)|Dec 3, 2019

Urban Heat Island Mitigation参考文献 37被引用 7

一句话总结

本文提出一种深度卷积神经网络（DCNN）方法，以提高使用街景图像进行城市树冠覆盖估算的准确性和可扩展性。通过利用语义分割和在 Google Street View 与 Cityscapes 数据集上的端到端学习，该方法将绿视指数（GVI）估算的平均绝对误差从 10.1% 降低至 4.67%，实现了对 22 座城市的规模化分析，从而增强了城市林业政策与研究。

ABSTRACT

Urban canopy cover is important to mitigate the impact of climate change. Yet, existing quantification of urban greenery is either manual and not scalable, or use traditional computer vision methods that are inaccurate. We train deep convolutional neural networks (DCNNs) on datasets used for self-driving cars to estimate urban greenery instead, and find that our semantic segmentation and direct end-to-end estimation method are more accurate and scalable, reducing mean absolute error of estimating the Green View Index (GVI) metric from 10.1% to 4.67%. With the revised DCNN methods, the Treepedia project was able to scale and analyze canopy cover in 22 cities internationally, sparking interest and action in public policy and research fields.

研究动机与目标

• 解决人工方法和传统计算机视觉方法在大规模量化城市绿化方面存在的局限性。
• 提高街景图像中城市树冠覆盖估算的准确性，特别是针对绿视指数（GVI）。
• 开发一种可扩展的自动化深度学习方法，优于现有的阈值-聚类技术。
• 为公共政策和环境研究应用提供大规模城市绿化分析的能力。
• 通过减少植被检测中的假阳性和假阴性，提供更可靠的树冠覆盖度量指标。

提出的方法

• 训练了金字塔场景解析网络（PSPNet）架构，用于街景图像中垂直植被的语义分割。
• 在 Cityscapes 数据集上预训练 DCNN——将其转换为二值植被/非植被标签——以在微调至 GSV 数据集之前提升特征学习能力。
• 通过使用原始 Cityscapes 模型的预训练权重初始化网络，应用迁移学习，以增强在有限标注 GSV 数据上的性能。
• 采用端到端学习，直接从输入图像预测绿视指数（GVI），跳过中间的分割步骤。
• 采用两种评估指标：用于分割准确性的平均交并比（mean IoU）和用于 GVI 估算准确性的平均绝对误差（MAE）。
• 应用 Grad-CAM 可视化以解释模型决策，确认网络聚焦于输入图像中的相关植被特征。

实验结果

研究问题

• RQ1 与传统的阈值-聚类方法相比，深度卷积神经网络能否提高城市树冠覆盖估算的准确性？
• RQ2 从 Cityscapes 数据集进行迁移学习在有限的街景图像上进行植被分割时，能在多大程度上提升性能？
• RQ3 在多样化的城市环境中，端到端 DCNN 方法与语义分割在估算绿视指数（GVI）方面相比如何？
• RQ4 模型架构和训练策略对减少垂直植被检测中的假阳性与假阴性检测有何影响？
• RQ5 所提出的方法能否有效扩展，以实现在多个国际城市的规模化城市绿化分析？

主要发现

• 与传统方法相比，所提出的基于 DCNN 的语义分割方法显著将 GVI 估算的平均绝对误差（MAE）从 10.1% 降低至 4.67%。
• 模型在定位准确性方面表现更优，以平均交并比（mean IoU）衡量，表明对垂直植被的像素级检测更准确。
• 从 Cityscapes 数据集进行迁移学习显著提升了模型在较小规模、城市特定的 GSV 数据集上的泛化能力和性能。
• 直接估算 GVI 的端到端 DCNN 方法展现出高准确性和可扩展性，实现了对 22 座城市的规模化分析。
• Grad-CAM 可视化证实，模型学会了聚焦于相关植被特征，从而提高了可解释性和可靠性。
• 该方法的准确性和可扩展性提升，使得 Treepedia 项目能够有效支持城市林业和气候韧性方面的公共政策与研究倡议。