[论文解读] Take a Look Around: Using Street View and Satellite Images to Estimate House Prices

Stephen Law, Brooks Paige+1 more|arXiv (Cornell University)|Jul 18, 2018

Housing Market and EconomicsEconomics, Econometrics and Finance参考文献 34被引用 22

一句话总结

本文提出了一种深度学习框架，通过融合街景（Google街景）和航空影像（Bing卫星图）以及传统住房特征，估算伦敦的房屋价格。通过端到端训练卷积神经网络提取视觉城市质量特征，该模型提升了价格预测的准确性，并生成了可解释的邻里视觉宜人度代理变量，甚至能推广到未见过的伦敦 borough（区）。

ABSTRACT

When an individual purchases a home, they simultaneously purchase its structural features, its accessibility to work, and the neighborhood amenities. Some amenities, such as air quality, are measurable while others, such as the prestige or the visual impression of a neighborhood, are difficult to quantify. Despite the well-known impacts intangible housing features have on house prices, limited attention has been given to systematically quantifying these difficult to measure amenities. Two issues have led to this neglect. Not only do few quantitative methods exist that can measure the urban environment, but that the collection of such data is both costly and subjective. We show that street image and satellite image data can capture these urban qualities and improve the estimation of house prices. We propose a pipeline that uses a deep neural network model to automatically extract visual features from images to estimate house prices in London, UK. We make use of traditional housing features such as age, size, and accessibility as well as visual features from Google Street View images and Bing aerial images in estimating the house price model. We find encouraging results where learning to characterize the urban quality of a neighborhood improves house price prediction, even when generalizing to previously unseen London boroughs. We explore the use of non-linear vs. linear methods to fuse these cues with conventional models of house pricing, and show how the interpretability of linear models allows us to directly extract proxy variables for visual desirability of neighborhoods that are both of interest in their own right, and could be used as inputs to other econometric methods. This is particularly valuable as once the network has been trained with the training data, it can be applied elsewhere, allowing us to generate vivid dense maps of the visual appeal of London streets.

研究动机与目标

• 解决对无形城市便利设施（如视觉吸引力、声望和社区氛围）缺乏系统性量化的问题，这些因素显著影响房屋价格。
• 通过从非结构化的街景和卫星图像中自动提取视觉特征，克服传统城市质量数据收集成本高且主观性强的问题。
• 开发一种可扩展的端到端深度学习流程，将视觉特征与传统的享乐定价模型结合，以提升房屋价格预测的准确性。
• 通过学习视觉特征的线性融合生成可解释的视觉宜人度代理变量，使其可应用于后续计量经济学分析。
• 证明从图像中提取的视觉质量代理变量可推广至此前未见过的伦敦 borough，验证所学表征的可迁移性。

提出的方法

• 使用卷积神经网络（CNN）从 Google 街景和 Bing 卫星图像中提取深层视觉特征，而无需对绿植、路面宽度等属性进行人工标注。
• 在混合建模方法中，将 CNN 提取的视觉特征与表格形式的住房数据（如房屋面积、年龄、可达性）结合，同时采用端到端深度学习与线性享乐模型。
• 采用两阶段流程：首先，训练 CNN 以从图像数据中学习城市视觉质量的潜在表征；其次，将这些特征与传统住房属性在线性模型中融合，以实现可解释性。
• 比较非线性端到端模型（如多层感知机）与融合视觉特征的线性模型，评估准确率与可解释性之间的权衡。
• 应用 Grad-CAM 等可解释性技术，可视化对高或低视觉宜人度评分贡献最大的图像区域。
• 在伦敦房产数据上训练模型，并通过样本外预测性能评估其在未见 borough 上的泛化能力。

实验结果

研究问题

• RQ1 从非结构化的街景和航空影像中提取的视觉特征，能否提升城市房地产价格预测模型的准确性？
• RQ2 深度神经网络在无需为特定属性（如绿植或路面宽度）提供标注训练数据的情况下，能在多大程度上学习到有意义的城市视觉质量表征？
• RQ3 与黑箱深度学习模型相比，融合学习视觉特征的线性模型在预测准确率和可解释性方面表现如何？
• RQ4 从图像数据中派生的视觉宜人度代理变量，能否推广至预测此前未见过的伦敦 borough 的房屋价格？
• RQ5 在街景和卫星图像中，哪些最显著的视觉线索与更高或更低的房产价值相关？这些线索如何被解释？

主要发现

• 与仅使用传统住房特征的模型相比，融合街景和卫星图像视觉特征显著提升了房屋价格预测的准确性。
• 该模型在未见过的伦敦 borough 上表现出有效的泛化能力，表明所学的视觉表征捕捉到了可迁移的城市质量信号。
• 将 CNN 提取的视觉特征与传统属性融合的线性模型在保持强性能的同时，实现了对视觉宜人度作为代理变量的直接解释。
• 从模型中派生的视觉宜人度代理变量与社区美学和城市质量相关，能够生成大伦敦地区感知视觉吸引力的密集、生动地图。
• 该方法通过端到端训练避免了昂贵的人工标注，实现了从原始未标注图像中可解释视觉线索的大规模提取。
• 视觉解释方法（如 Grad-CAM）识别出对模型预测视觉宜人度贡献最大的图像区域，如绿植、路面宽度和建筑立面质量。