[论文解读] Seeing the Wind: Visual Wind Speed Prediction with a Coupled Convolutional and Recurrent Neural Network

Jennifer L. Cardona, Michael F. Howland+1 more|arXiv (Cornell University)|May 30, 2019

Wind and Air Flow Studies参考文献 41被引用 15

一句话总结

该论文提出了一种结合ResNet-18卷积神经网络与LSTM的深度学习框架，通过分析旗子飘动和树木摇曳的视频画面来预测风速。该模型在验证数据集上的均方根误差接近自然风速波动水平（≈1.85 m/s），并能泛化至未见过的旗帜和风洞实验条件，展示了低成本、分布式视觉风速计的潜力。

ABSTRACT

Wind energy resource quantification, air pollution monitoring, and weather forecasting all rely on rapid, accurate measurement of local wind conditions. Visual observations of the effects of wind---the swaying of trees and flapping of flags, for example---encode information regarding local wind conditions that can potentially be leveraged for visual anemometry that is inexpensive and ubiquitous. Here, we demonstrate a coupled convolutional neural network and recurrent neural network architecture that extracts the wind speed encoded in visually recorded flow-structure interactions of a flag and tree in naturally occurring wind. Predictions for wind speeds ranging from 0.75-11 m/s showed agreement with measurements from a cup anemometer on site, with a root-mean-squared error approaching the natural wind speed variability due to atmospheric turbulence. Generalizability of the network was demonstrated by successful prediction of wind speed based on recordings of other flags in the field and in a controlled wind tunnel test. Furthermore, physics-based scaling of the flapping dynamics accurately predicts the dependence of the network performance on the video frame rate and duration.

研究动机与目标

• 开发一种低成本、非侵入式的局部风速测量方法，利用自然流动-结构相互作用的视觉线索。
• 克服传统风速计的局限性，后者成本高且需要现场安装。
• 利用已有的视觉基础设施（如摄像头和自然物体）在城市和偏远环境中实现广泛风速图绘制。
• 探究深度学习是否能跨不同旗帜和环境条件实现视觉风速计的泛化。
• 理解模型性能背后的物理原理，特别是旗子摆动动力学和视频采样率的作用。

提出的方法

• 将两秒长的视频片段（30帧）作为输入，使用ResNet-18卷积神经网络进行空间特征提取。
• 将每帧的特征输入长短期记忆（LSTM）循环网络，以建模流动-结构相互作用的时序动态。
• 通过减去时间平均值对输入帧进行归一化，以提升在不同背景和物体类型上的泛化能力。
• 端到端训练模型，使用现场杯式风速计的实测数据回归风速（单位：m/s）。
• 在验证集、相邻旗帜测试集和风洞测试集上评估性能，以评估泛化能力和鲁棒性。
• 利用基于物理的尺度定律分析模型性能对视频帧率和持续时间的依赖关系。

实验结果

研究问题

• RQ1 深度学习模型能否在不依赖物理传感器的情况下，仅通过旗子或树木的视觉运动准确预测风速？
• RQ2 该模型在训练过程中未见过的新旗帜和新位置上的泛化能力如何？
• RQ3 时间平均值减法对模型在不同视觉背景上的泛化能力有何影响？
• RQ4 视频帧率和持续时间如何影响模型捕捉风致动态的能力？
• RQ5 旗子摆动的哪些物理特性对准确预测风速最为关键？

主要发现

• 在验证集上，模型的均方根误差（RMSE）为1.85 m/s，接近大气湍流引起的自然波动水平。
• 在相邻旗帜测试集上，模型在可测量风速范围内实现了1.85 m/s的RMSE，表明其对新旗帜具有强大的泛化能力。
• 在风洞测试集中，模型实现了1.82 m/s的RMSE，证明其在受控环境与真实世界条件下的鲁棒性。
• 采用均值减除输入的模型（LSTM-NM）显著优于原始输入变体（LSTM-raw），尤其在测试集上，风洞测试的RMSE从9.61 m/s降至1.82 m/s。
• 模型性能受旗子基本摆动频率的物理限制，与尺度定律预测一致。
• 模型在所有测试集上均成功捕捉到预测风速随真实风速单调增加的趋势，证实了其预测的一致性。