[论文解读] Predicting Rainfall using Machine Learning Techniques

Nikhil Oswal|arXiv (Cornell University)|Oct 29, 2019

Hydrological Forecasting Using AI被引用 15

一句话总结

本研究评估了多种机器学习模型——逻辑回归、随机森林、梯度提升等——利用澳大利亚气象数据预测明日降雨。结果表明，梯度提升在不同数据预处理策略下表现最为稳定，尤其是在欠采样数据中；而模型性能对类别不平衡处理和特征选择极为敏感。

ABSTRACT

Rainfall prediction is one of the challenging and uncertain tasks which has a significant impact on human society. Timely and accurate predictions can help to proactively reduce human and financial loss. This study presents a set of experiments which involve the use of prevalent machine learning techniques to build models to predict whether it is going to rain tomorrow or not based on weather data for that particular day in major cities of Australia. This comparative study is conducted concentrating on three aspects: modeling inputs, modeling methods, and pre-processing techniques. The results provide a comparison of various evaluation metrics of these machine learning techniques and their reliability to predict the rainfall by analyzing the weather data.

研究动机与目标

• 评估多种机器学习技术在预测澳大利亚每日降雨方面的有效性。
• 研究数据预处理（尤其是缺失值处理、特征选择和类别不平衡）对模型性能的影响。
• 比较不同采样策略（欠采样、过采样、原始数据）对分类器可靠性的影响。
• 识别使用真实世界气象数据预测明日降雨的最稳健且准确的模型。
• 提供从数据预处理到模型评估的端到端机器学习流程，用于降雨预测。

提出的方法

• 使用来自澳大利亚气象站的142,000条每日气象观测数据，包含23个特征，如温度、湿度、风速和气压。
• 实施了广泛的数据预处理：使用分组均值填补缺失值，对分类变量进行特征哈希，以及特征缩放。
• 通过单变量统计检验和相关性热力图进行特征选择，以去除冗余或无关特征。
• 实现多种分类器：逻辑回归、决策树、K近邻、基于规则的模型以及集成方法（随机森林、梯度提升）。
• 应用了欠采样（SMOTE）和过采样（SMOTE）技术，以解决目标变量（RainTomorrow）的类别不平衡问题。
• 使用10折交叉验证评估模型，指标包括准确率、精确率、召回率、F1分数和AUC-ROC，并进行了配对t检验以进行统计比较。

实验结果

研究问题

• RQ1 哪种机器学习模型在使用澳大利亚气象数据预测明日降雨时达到最高预测准确率？
• RQ2 采样策略选择（原始数据、欠采样、过采样）如何影响不同分类器的性能？
• RQ3 数据预处理步骤（尤其是缺失值填补和特征选择）对模型可靠性有何影响？
• RQ4 不同评估指标（准确率、F1分数、AUC）对同一模型的排名如何？哪种指标最能反映实际预测价值？
• RQ5 目标变量（RainTomorrow）中的类别不平衡在多大程度上扭曲了模型性能？如何有效缓解该问题？

主要发现

• 使用学习率为0.25的梯度提升在原始数据集上实现了最高的准确率（92.4%），在准确率和AUC-ROC方面均优于其他模型。
• 逻辑回归在欠采样数据集上表现最佳，准确率达到91.8%，AUC为0.89，表明其在平衡数据上具有较强的泛化能力。
• 决策树在过采样数据集上实现了最高的准确率（92.1%），但表现出过拟合迹象，表明尽管在训练数据上表现优异，泛化能力较差。
• 集成模型，尤其是梯度提升，在所有三种数据配置（原始、欠采样、过采样）中均表现出一致的性能，表明其对数据分布变化具有鲁棒性。
• 不同模型的性能显著受采样策略影响——例如，K近邻在过采样数据上表现最佳，在欠采样数据上表现最差，凸显了模型对数据平衡的敏感性。
• 发现RISK_MM等特征存在数据泄露（与目标变量直接相关），因此在预处理阶段被排除，以防止数据泄露并确保模型评估的有效性。