[论文解读] Urban Data Streams and Machine Learning: A Case of Swiss Real Estate Market

Vahid Moosavi|arXiv (Cornell University)|Mar 30, 2017

Housing Market and Economics被引用 5

一句话总结

本文提出了一种基于数据驱动的瑞士房地产估价方法，利用公开的城市数据流和机器学习技术。通过结合网络爬取的房地产挂牌信息与OpenStreetMap的建筑数据，作者构建了一个系统，对170万处房产估算租金与售价指数，并提供单个房产估价的API服务，采用随机森林模型实现6.57%的中位数绝对相对误差，优于传统透明度低、成本高的系统，展现出更高的透明度与更低的成本。

ABSTRACT

In this paper, we show how using publicly available data streams and machine learning algorithms one can develop practical data driven services with no input from domain experts as a form of prior knowledge. We report the initial steps toward development of a real estate portal in Switzerland. Based on continuous web crawling of publicly available real estate advertisements and using building data from Open Street Map, we developed a system, where we roughly estimate the rental and sale price indexes of 1.7 million buildings across the country. In addition to these rough estimates, we developed a web based API for accurate automated valuation of rental prices of individual properties and spatial sensitivity analysis of rental market. We tested several established function approximation methods against the test data to check the quality of the rental price estimations and based on our experiments, Random Forest gives very reasonable results with the median absolute relative error of 6.57 percent, which is comparable with the state of the art in the industry. We argue that while recently there have been successful cases of real estate portals, which are based on Big Data, majority of the existing solutions are expensive, limited to certain users and mostly with non-transparent underlying systems. As an alternative we discuss, how using the crawled data sets and other open data sets provided from different institutes it is easily possible to develop data driven services for spatial and temporal sensitivity analysis in the real estate market to be used for different stakeholders. We believe that this kind of digital literacy can disrupt many other existing business concepts across many domains.

研究动机与目标

• 开发一种利用公开数据流的透明、低成本房地产估价系统。
• 在无需依赖领域专家或专有数据的前提下，实现对租赁市场的空间与时间敏感性分析。
• 证明开放数据与机器学习可产生与行业标准系统相当的成果。
• 创建一个可扩展的自动化API，用于个体房产的租金价格估算。
• 通过推广城市数据科学中的开放数字素养，挑战昂贵且不透明的房地产平台的主导地位。

提出的方法

• 对瑞士各地区公开的房地产广告进行网络爬取，以收集挂牌数据。
• 整合来自OpenStreetMap的建筑层级数据，以丰富房产特征。
• 应用机器学习模型，特别是随机森林，对租金价格进行函数逼近。
• 利用持续的数据流，估算瑞士全国170万栋建筑的租金与售价指数。
• 开发基于网络的API，实现实时、自动化的单个房产估价。
• 使用测试数据评估多种函数逼近方法，以衡量模型性能。

实验结果

研究问题

• RQ1 仅依靠公开数据流与机器学习，能否在无需专家输入的情况下实现可靠的房地产价格估算？
• RQ2 仅使用开放数据与网络爬取的挂牌信息，自动化租金价格估算的准确度能达到何种水平？
• RQ3 标准机器学习模型（如随机森林）在估算瑞士房地产价格方面的表现如何？
• RQ4 此类系统能否实现透明、可扩展且低成本的租赁市场空间与时间敏感性分析？
• RQ5 开放数据与机器学习在多大程度上能够颠覆现有不透明的房地产平台？

主要发现

• 随机森林模型在租金价格估算中实现了6.57%的中位数绝对相对误差，表现出优异性能。
• 该系统成功利用仅开放数据与爬取数据，对瑞士170万栋建筑的租金与售价指数进行了估算。
• 基于网络的API支持对单个房产进行高精度、自动化的估价，并具备空间敏感性分析能力。
• 该方法在透明度方面优于许多现有商业系统，同时显著降低了成本与对专有数据的依赖。
• 结果证实，开放数据与机器学习可在无需领域专业知识的情况下，实现顶尖水平的房地产估价精度。
• 本研究证明了构建可扩展、透明且低成本的数据驱动城市市场服务的可行性。