[论文解读] Visual Weather Temperature Prediction

Wei-Ta Chu, Kai-Chia Ho+1 more|arXiv (Cornell University)|Jan 25, 2018

Image Enhancement Techniques参考文献 15被引用 3

一句话总结

本文提出一种仅使用图像数据的深度学习方法，用于视觉天气温度预测，采用卷积神经网络（CNN）进行单张图像的温度估计，以及使用长短期记忆网络（LSTM）的循环神经网络（RNN）对图像序列中最后一张图像的温度进行预测。该方法在时序预测方面表现优异，尤其在时间序列预测方面达到最先进水平，并表明视觉线索——尤其是天空和植被区域的线索——显著提升了预测准确性。

ABSTRACT

In this paper, we attempt to employ convolutional recurrent neural networks for weather temperature estimation using only image data. We study ambient temperature estimation based on deep neural networks in two scenarios a) estimating temperature of a single outdoor image, and b) predicting temperature of the last image in an image sequence. In the first scenario, visual features are extracted by a convolutional neural network trained on a large-scale image dataset. We demonstrate that promising performance can be obtained, and analyze how volume of training data influences performance. In the second scenario, we consider the temporal evolution of visual appearance, and construct a recurrent neural network to predict the temperature of the last image in a given image sequence. We obtain better prediction accuracy compared to the state-of-the-art models. Further, we investigate how performance varies when information is extracted from different scene regions, and when images are captured in different daytime hours. Our approach further reinforces the idea of using only visual information for cost efficient weather prediction in the future.

研究动机与目标

• 开发一种深度学习模型，仅利用视觉特征从单张户外图像中估计环境温度。
• 通过建模图像序列中视觉外观的时间演变，提升温度预测的准确性。
• 研究从不同场景区域（如天空与地面）提取视觉特征时，性能如何变化。
• 分析图像拍摄时间（白天时段）对预测性能的影响。
• 识别对温度估计最具信息量的视觉区域或线索。

提出的方法

• 使用卷积神经网络（CNN）从单张户外图像中提取视觉特征，随后通过回归层预测温度。
• 对于图像序列输入，采用双向长短期记忆网络（LSTM）以建模帧间视觉外观的时间依赖性。
• 在大规模户外图像数据集上端到端训练模型，该数据集由网络摄像头随时间捕获。
• 通过计算非重叠图像块中颜色变化（RGB值标准差）随时间的变化，分析温度预测的视觉显著性。
• 使用均方根误差（RMSE）进行性能评估，并与最先进方法在真实世界网络摄像头数据集上进行比较。
• 评估仅从天空区域或地面区域提取特征时的温度预测准确性，并在不同白天时段（如11 am）进行分析。

实验结果

研究问题

• RQ1 基于CNN的模型能否仅使用视觉数据，从单张户外图像中实现高精度的环境温度估计？
• RQ2 与单张图像基线方法相比，通过RNN引入时间建模是否能提升温度预测的准确性？
• RQ3 当从场景的不同区域（如天空与地面）提取视觉特征时，温度预测性能如何变化？
• RQ4 一天中不同时段（如早晨与正午）如何影响视觉温度估计的可靠性？
• RQ5 哪些视觉区域或线索（如天空、树叶、建筑立面）对温度预测最具信息量？

主要发现

• 所提出的基于RNN的模型在预测图像序列中最后一张图像的温度方面优于现有最先进方法，证明了建模时间演化的有效性。
• 随着训练数据量的增加，性能持续提升，证实了深度学习在视觉温度估计中的可扩展性。
• 在约11 am拍摄的图像可获得最稳健的预测结果，平均RMSE最低，原因在于光照条件最佳且视觉清晰度高。
• 天空区域对温度预测有显著贡献，尤其在晴空条件下；而在某些场景中，树叶和建筑立面也表现出高显著性。
• 当连续两天温度发生剧烈波动时，失败案例最为常见，表明模型在捕捉快速天气变化方面仍存在挑战。
• 显著性图显示，跨日颜色变化较大的区域——如树叶和建筑立面部分区域——对温度估计更具信息量。