[论文解读] Towards Global-Scale Crowd+AI Techniques to Map and Assess Sidewalks for People with Disabilities

Maryam Hosseini, Michael Saugstad+4 more|arXiv (Cornell University)|Jun 28, 2022

Urban Transport and Accessibility被引用 8

一句话总结

本文提出了一种四阶段的众包+人工智能流水线，结合卫星图像分析、基于分层多尺度注意力的语义分割、基于主动学习的街景图像语义分割，以及众包可及性标注，实现对全球人行道网络的制图、分类与评估。主要贡献在于提出了一套可扩展、数据驱动的框架，实现了大规模、高分辨率的人行道制图与可及性评估，已在华盛顿特区完成验证，涵盖超过70万个可及性标注评估。

ABSTRACT

There is a lack of data on the location, condition, and accessibility of sidewalks across the world, which not only impacts where and how people travel but also fundamentally limits interactive mapping tools and urban analytics. In this paper, we describe initial work in semi-automatically building a sidewalk network topology from satellite imagery using hierarchical multi-scale attention models, inferring surface materials from street-level images using active learning-based semantic segmentation, and assessing sidewalk condition and accessibility features using Crowd+AI. We close with a call to create a database of labeled satellite and streetscape scenes for sidewalks and sidewalk accessibility issues along with standardized benchmarks.

研究动机与目标

• 解决全球范围内缺乏可靠、高分辨率的人行道位置、连通性与可及性状况数据的问题。
• 开发一种可扩展的半自动流水线，整合计算机视觉与众包技术，实现大规模人行道制图与评估。
• 创建一个大规模、开放获取的标注人行道图像与可及性特征数据集，用于基准测试与模型训练。
• 通过整合人行道网络拓扑、路面材料与状况数据，实现可及性感知的行人路径规划与城市分析。
• 识别并缓解人工智能在不同城市环境中进行人行道可及性评估时存在的偏差。

提出的方法

• 使用基于HRNet-W48+OCR主干网络的分层多尺度注意力模型，对正射校正的航空影像进行语义分割，将像素分类为行人道、斑马线、道路与背景。
• 将分割后的栅格输出转换为地理参考的多边形与中心线，以在第二阶段构建拓扑性人行道网络。
• 应用基于主动学习的语义分割方法，从街景图像中推断路面材料，如沥青、砖块与卵石。
• 利用众包方式收集并验证超过70万个地理定位的可及性标签，覆盖华盛顿特区，其中40万个用于模型训练与评估。
• 结合AI推断的路面数据与众包可及性评分，计算综合可及性指标，用于可视化与分析。
• 采用改进的ResNet-18模型，结合LIDAR深度、场景位置与地理特征，在验证人工标注可及性数据方面达到最先进性能（AP: 81.3%，R: 77.2%）。

实验结果

研究问题

• RQ1 如何通过可扩展的半自动流水线，整合计算机视觉与众包技术，实现全球尺度的人行道网络制图？
• RQ2 在不同城市环境中，基于某一城市训练的AI模型在人行道可及性评估方面的泛化能力如何？
• RQ3 路面材料（如卵石与砖块）如何影响人行道可及性？这些材料在自动化评估中如何被可靠检测与加权？
• RQ4 基于人工智能的人行道可及性评估中的关键失败模式与偏差是什么？如何识别并缓解这些问题？
• RQ5 统一、标准化的基准与开放数据集（包含标注的卫星图像与街景图像）如何推动人行道可及性与城市信息学研究的发展？

主要发现

• 该流水线成功从华盛顿特区的73,000张卫星图像瓦片中提取并地理参考了超过70万个行人道段，而该地区此前并无官方行人网络数据。
• 分层多尺度注意力模型在存在遮挡与微小视觉特征的情况下，仍能高精度地分割出行人道、步行道与斑马线。
• 基于主动学习的语义分割方法实现了从街景图像中高效且准确地推断路面材料，对如卵石与砖块等危险路面材料赋予更高权重。
• 改进的ResNet-18模型在验证人工标注的可及性数据方面达到最先进性能，平均精度为81.3%，召回率为77.2%。
• 该流水线展示了跨城市泛化能力，表明在华盛顿特区数据上预训练的模型可有效评估西雅图、华盛顿州与新伯格、俄勒冈州的人行道可及性。
• 研究团队收集并验证了超过70万个地理定位的可及性标签——据其了解，这是迄今最大、最精细的开放人行道可及性数据集。