[论文解读] Surrogate Optimization of Deep Neural Networks for Groundwater Predictions

Juliane Mueller, Jangho Park+5 more|arXiv (Cornell University)|Aug 28, 2019

Hydrological Forecasting Using AI参考文献 83被引用 7

一句话总结

本文提出了一种基于代理模型的超参数优化（HPO）框架，用于深度神经网络，以预测加利福尼亚州巴特县的每日地下水位。采用径向基函数（RBF）和高斯过程（GP）作为代理模型，结果表明，通过RBF优化的多层感知机（MLP）在预测精度（RMSE ≤ 2米）与计算效率之间实现了最佳平衡，优于LSTM和CNN等更复杂的模型，在准确性和求解时间方面均表现更优。

ABSTRACT

Sustainable management of groundwater resources under changing climatic conditions require an application of reliable and accurate predictions of groundwater levels. Mechanistic multi-scale, multi-physics simulation models are often too hard to use for this purpose, especially for groundwater managers who do not have access to the complex compute resources and data. Therefore, we analyzed the applicability and performance of four modern deep learning computational models for predictions of groundwater levels. We compare three methods for optimizing the models' hyperparameters, including two surrogate model-based algorithms and a random sampling method. The models were tested using predictions of the groundwater level in Butte County, California, USA, taking into account the temporal variability of streamflow, precipitation, and ambient temperature. Our numerical study shows that the optimization of the hyperparameters can lead to reasonably accurate performance of all models (root mean squared errors of groundwater predictions of 2 meters or less), but the ''simplest'' network, namely a multilayer perceptron (MLP) performs overall better for learning and predicting groundwater data than the more advanced long short-term memory or convolutional neural networks in terms of prediction accuracy and time-to-solution, making the MLP a suitable candidate for groundwater prediction.

研究动机与目标

• 为应对在气候波动条件下实现可靠、准确且计算轻量化的地下水位预测所面临的挑战。
• 评估四种深度学习模型——MLP、RNN、LSTM和CNN——在日尺度地下水位时间序列数据上的性能表现。
• 比较三种超参数优化（HPO）方法：随机采样、基于RBF的代理模型和基于GP的代理模型。
• 识别在计算资源有限的实际地下水管理场景中最具有效率的模型-HPO组合。
• 评估最佳表现模型在数据量、输入变量和流域特征方面的泛化能力与敏感性。

提出的方法

• 构建了双层优化问题：上层用于超参数选择，下层用于神经网络权重优化。
• 应用两种基于代理模型的HPO方法：使用径向基函数（RBF）和高斯过程（GP）模型近似目标函数。
• 将随机采样作为基线HPO方法用于对比。
• 基于加利福尼亚州巴特县一个或三个井的每日地下水位、降雨量、径流量和气温观测数据训练模型。
• 在多井情况下，使用多个井的验证误差加权和来优化模型。
• 通过预测值与观测值之间均方根误差（RMSE）评估性能。

实验结果

研究问题

• RQ1 在非平稳水文系统中，哪种深度学习模型架构（MLP、RNN、LSTM、CNN）在预测日尺度地下水位方面表现最佳？
• RQ2 与随机采样相比，基于代理模型的HPO方法（RBF和GP）在预测精度和优化时间方面表现如何？
• RQ3 模型性能在单井与多井预测设置之间是否存在显著差异？
• RQ4 不同HPO策略下，模型复杂度与训练时间如何与预测精度相关联？
• RQ5 RBF优化的MLP模型是否可推广至具有不同水文地质与气候条件的其他流域？

主要发现

• 通过基于RBF的代理方法优化的多层感知机（MLP）在所有测试案例中均实现了2米或更低的均方根误差（RMSE）。
• 基于RBF的HPO方法在总优化时间最短的前提下，生成了性能最佳的模型架构，优于基于GP的方法和随机采样方法。
• LSTM模型表现出较高的性能波动和较大的预测跳跃，表明其鲁棒性较差，且对超参数选择更为敏感。
• RNN模型表现最差，频繁因反向传播过程中的梯度消失问题而无法收敛。
• CNN模型虽实现了良好的预测精度，但其计算时间显著长于MLP，因此在实时应用中效率较低。
• 多井案例表明，优化过程对最复杂的时间序列（如因严重水位下降而复杂的井C）更为敏感，提示加权误差目标可提升模型鲁棒性。