[论文解读] ZenSVI: An Open-Source Software for the Integrated Acquisition, Processing and Analysis of Street View Imagery Towards Scalable Urban Science

Koichi Ito, Yihan Zhu+10 more|arXiv (Cornell University)|Dec 24, 2024

Impact of Light on Environment and HealthEnvironmental Science被引用 3

一句话总结

ZenSVI 是一个开源的 Python 软件包，整合了端到端街景影像（SVI）获取、处理与分析，支持可扩展、可复现的城市科学研究。它支持多平台数据采集、计算机视觉特征提取、图像转换与可视化，显著降低了无高级编程技能研究人员的技术门槛。

ABSTRACT

Street view imagery (SVI) has been instrumental in many studies in the past decade to understand and characterize street features and the built environment. Researchers across a variety of domains, such as transportation, health, architecture, human perception, and infrastructure have employed different methods to analyze SVI. However, these applications and image-processing procedures have not been standardized, and solutions have been implemented in isolation, often making it difficult for others to reproduce existing work and carry out new research. Using SVI for research requires multiple technical steps: accessing APIs for scalable data collection, preprocessing images to standardize formats, implementing computer vision models for feature extraction, and conducting spatial analysis. These technical requirements create barriers for researchers in urban studies, particularly those without extensive programming experience. We developed ZenSVI, a free and open-source Python package that integrates and implements the entire process of SVI analysis, supporting a wide range of use cases. Its end-to-end pipeline includes downloading SVI from multiple platforms (e.g., Mapillary and KartaView) efficiently, analyzing metadata of SVI, applying computer vision models to extract target features, transforming SVI into different projections (e.g., fish-eye and perspective) and different formats (e.g., depth map and point cloud), visualizing analyses with maps and plots, and exporting outputs to other software tools. We demonstrated its use in Singapore through a case study of data quality assessment and clustering analysis in a streamlined manner. Our software improves the transparency, reproducibility, and scalability of research relying on SVI and supports researchers in conducting urban analyses efficiently. Its modular design facilitates extensions of the package for new use cases.

研究动机与目标

• 解决城市研究中街景影像（SVI）分析缺乏标准化、可复现和可扩展软件的问题。
• 降低城市研究领域中无高级编程经验研究人员的技术门槛。
• 提供一个统一、模块化且可扩展的平台，支持从数据获取到输出导出的完整 SVI 分析流程。
• 通过标准化工作流并支持 FAIR 数据原则，提升城市分析的透明度与可复现性。
• 通过简化、文档化的工具，使研究人员能够开展复杂的城市分析，如安全感知、绿地度与步行友好度分析。

提出的方法

• 集成多个 SVI 平台的 API，包括 Mapillary 和 KartaView，实现可扩展且高效的数据显示获取。
• 支持元数据分析、图像预处理，以及转换为不同投影（如鱼眼、透视）和格式（如深度图、点云）的功能。
• 采用预训练的计算机视觉模型，实现自动化特征提取，如绿地度、开阔度与建筑特征。
• 提供图像转换（如 transform_images）与评分计算（如 calculate_score）等功能，用于推导城市指标。
• 支持与外部工具（如 R 和 QGIS）无缝集成，用于统计分析与地理空间可视化。
• 具备模块化、可扩展的架构，支持未来功能扩展，包括生成式 AI 和多模态分析。

实验结果

研究问题

• RQ1 一个统一的开源软件平台在多大程度上能够简化城市科学中街景影像的端到端分析？
• RQ2 ZenSVI 在多大程度上能够降低无高级编程技能研究人员在城市数据分析中的技术门槛？
• RQ3 ZenSVI 在多样化应用场景（如数据质量评估与聚类分析）中，能否有效支持可复现且可扩展的城市分析？
• RQ4 ZenSVI 如何通过标准化工作流和 FAIR 数据原则，提升城市研究的透明度与互操作性？
• RQ5 ZenSVI 在支持新兴技术（如文本到图像生成与多模态地理空间数据分析）方面，有哪些潜在扩展方向？

主要发现

• ZenSVI 实现了端到端的 SVI 分析，仅需极少代码，用户可在单一集成工作流中完成街景影像的下载、处理与分析。
• 该软件支持从 Mapillary 和 KartaView 等多平台获取数据，显著提升了数据可及性与可扩展性。
• 在新加坡的案例研究中，ZenSVI 展示了利用绿地度与开阔度指标进行有效数据质量评估与聚类分析的能力。
• ZenSVI 的模块化设计支持可扩展性，可与 R 和 QGIS 等外部工具集成，实现高级统计与地理空间分析。
• 通过标准化工作流、全面的文档、教程以及源代码的开放获取，该软件显著提升了研究的可复现性。
• 未来开发计划包括支持生成式 AI、多模态数据（如卫星影像、航空影像、CCTV）以及全球范围的 SVI 衍生指标开放数据集。