[论文解读] Web scraping: a promising tool for geographic data acquisition

Alexander Brenning, Sebastian Henn|arXiv (Cornell University)|May 31, 2023

Geographic Information Systems Studies被引用 7

一句话总结

本文主张将网络爬虫作为获取地理数据的低成本、实时工具，尤其适用于租金趋势和绅士化等城市动态研究。通过在莱比锡房租研究中应用随机森林和广义加性模型（GAM），实现了较低的预测误差（RMSE: 1.08 €/m²），同时突出了地理空间网络数据特有的伦理、法律和方法论挑战。

ABSTRACT

With much of our lives taking place online, researchers are increasingly turning to information from the World Wide Web to gain insights into geographic patterns and processes. Web scraping as an online data acquisition technique allows us to gather intelligence especially on social and economic actions for which the Web serves as a platform. Specific opportunities relate to near-real-time access to object-level geolocated data, which can be captured in a cost-effective way. The studied geographic phenomena include, but are not limited to, the rental market and associated processes such as gentrification, entrepreneurial ecosystems, or spatial planning processes. Since the information retrieved from the Web is not made available for that purpose, Web scraping faces several unique challenges, several of which relate to location. Ethical and legal issues mainly relate to intellectual property rights, informed consent and (geo-) privacy, and website integrity and contract. These issues also effect the practice of open science. In addition, there are technical and statistical challenges that relate to dependability and incompleteness, data inconsistencies and bias, as well as the limited historical coverage. Geospatial analyses furthermore usually require the automated extraction and subsequent resolution of toponyms or addresses (geoparsing, geocoding). A study on apartment rent in Leipzig, Germany is used to illustrate the use of Web scraping and its challenges. We conclude that geographic researchers should embrace Web scraping as a powerful and affordable digital fieldwork tool while paying special attention to its legal, ethical, and methodological challenges.

研究动机与目标

• 将网络爬虫确立为获取近实时地理数据的可行且经济的方法，尤其适用于社会经济和城市过程研究。
• 解决在地理研究中使用网络爬虫时，特别是涉及地理空间数据、隐私和数据完整性问题时，所面临的独特法律、伦理和方法论挑战。
• 展示网络爬虫在地理学中的实际工作流程，包括地理解析、地理编码和数据增强，结合真实案例。
• 在地理信息科学的学术与教学应用中，推广符合开放科学原则的责任性网络爬虫实践。

提出的方法

• 通过网络爬虫从房地产平台提取具有明确或隐含位置参考的、基于对象的地理定位数据。
• 应用地名学与地址解析（地理解析与地理编码），将文本形式的位置参考转换为空间坐标。
• 使用机器学习模型——随机森林和广义加性模型（GAM）——基于面积、年龄、设施和交通距离等特征预测公寓租金。
• 通过GAM中的收缩方法和随机森林中的特征重要性进行变量选择，以评估预测因子的相关性并减少过拟合。
• 使用未参与训练的5,245套公寓作为保留测试集，评估模型性能。
• 生成空间预测图，以可视化在标准公寓条件下莱比锡全境的租金预测结果。

实验结果

研究问题

• RQ1 如何有效利用网络爬虫获取近实时、地理定位的数据，以支持对绅士化和住房市场等城市过程的地理研究？
• RQ2 在处理地理空间数据和敏感隐私信息时，网络爬虫面临哪些关键的法律、伦理和技术挑战？
• RQ3 基于爬取数据训练的机器学习模型在多大程度上能准确预测地理现象（如公寓租金）？不同建模方法之间有何比较？
• RQ4 如何将地理解析与地理编码整合到网络爬虫工作流中，以实现对非结构化文本数据的空间分析？

主要发现

• 随机森林模型在测试集上实现了最低的预测误差（RMSE: 1.08 €/m²），优于采用收缩的GAM模型（RMSE: 1.22 €/m²）和初始GAM模型（RMSE: 1.27 €/m²）。
• 尽管RMSE值相近，但随机森林与GAM模型生成的预测图存在显著差异，可能源于其建模能力的不同，如平滑关系与阶跃函数关系的差异。
• 网络爬虫能够实现实时数据获取，为社会经济过程提供及时的数据替代方案，优于周期性不足的普查或调查数据。
• 通过地理解析与地理编码实现的地理空间数据增强，对于将非结构化的文本位置参考转化为可分析的地理信息至关重要。
• 本研究证明，网络爬虫可以实现数据获取的民主化，尤其在官方数据受限或成本高昂时更具优势。
• 伦理与法律限制（如隐私、知识产权及网站服务条款）仍是主要障碍，即使数据为公开可访问。