[论文解读] On model selection criteria for climate change impact studies

Xiaomeng Cui, Bulat Gafarov+2 more|arXiv (Cornell University)|Aug 23, 2018

Agricultural risk and resilience参考文献 49被引用 9

一句话总结

本文提出了一种新的模型选择准则——临近加权均方误差（PWMSE），通过优先选择在预测未来气候条件下损害程度方面表现最佳的模型，以改进气候变化影响研究。与传统准则不同，PWMSE为与未来气候预测相似的历史年份赋予更高的权重，从而确保所选模型在政策决策最需要的区域最小化预测误差。

ABSTRACT

Climate change impact studies inform policymakers on the estimated damages of future climate change on economic, health and other outcomes. In most studies, an annual outcome variable is observed, e.g. agricultural yield, along with a higher-frequency regressor, e.g. daily temperature. Applied researchers then face a problem of selecting a model to characterize the nonlinear relationship between the outcome and the high-frequency regressor to make a policy recommendation based on the model-implied damage function. We show that existing model selection criteria are only suitable for the policy objective if one of the models under consideration nests the true model. If all models are seen as imperfect approximations to the true nonlinear relationship, the model that performs well in the normal climate conditions is not guaranteed to perform well at the projected climate that is different from the historical norm. We therefore propose a new criterion, the proximity-weighted mean-squared error (PWMSE), that directly targets precision of the damage function at the projected future climate. To make this criterion feasible, we assign higher weights to prior years that can serve as weather analogs to the projected future climate when evaluating competing models using the PWMSE. We show that our approach selects the best approximate regression model that has the smallest weighted error of predicted impacts for a projected future climate. A simulation study and an application revisiting the impact of climate change on agricultural production illustrate the empirical relevance of our theoretical analysis.

研究动机与目标

• 解决标准模型选择准则与估计未来气候损害这一政策目标之间的错配问题。
• 识别现有信息准则（如AIC、BIC）在所有模型均为真实非线性关系近似而非嵌套真实模型时的局限性。
• 开发一种直接针对在预测未来气候条件下损害函数精度的准则。
• 提供一种切实可行的方法，将未来气候预测纳入模型评估，利用历史气象相似年份（weather analogs）。
• 确保模型选择倾向于那些不仅在历史条件下表现良好，而且在预期未来特定非历史气候情景下表现最佳的模型。

提出的方法

• 提出临近加权均方误差（PWMSE）准则，根据历史气候条件与未来气候预测之间的相似性对预测误差进行加权。
• 使用距离度量（L∞范数和L²范数）定义临近性，即历史气象模式与未来气候预测轮廓之间的距离。
• 应用蒙特卡洛交叉验证，估计不同模型设定下的期望PWMSE。
• 以气候条件与未来气候预测相似的历史年份（即气象相似年）作为模型性能加权的基础。
• 将PWMSE准则整合进一个框架中，允许对非嵌套模型（包括分段线性模型、多项式模型及基于汇总统计量的模型）进行比较。
• 在模拟研究和玉米产量数据的实证应用中实施该方法，比较度日模型、季节平均模型及温度分箱模型的表现。

实验结果

研究问题

• RQ1 为何标准模型选择准则在预测未来气候条件下气候变化损害时无法识别出最佳模型？
• RQ2 如何改进模型选择，以优先选择在预测未来非历史气候水平下损害函数方面表现准确的模型？
• RQ3 在评估未来气候预测模型时，对历史数据的加权方式应如何最优？
• RQ4 与传统信息准则相比，所提出的PWMSE准则在预测未来气候影响方面的预测准确性如何？
• RQ5 不同温度汇总统计量（如度日、季节平均值）在未来的气候预测下表现如何？

主要发现

• 当所有模型均为真实非线性关系的近似时，传统模型选择准则（如AIC和BIC）表现次优，尤其在非历史未来气候条件下更为明显。
• 所提出的PWMSE准则在选择在预测未来气候水平下预测误差最小的模型方面，显著优于标准准则。
• 在玉米产量的实证应用中，以24°C和26°C为结点的分段线性模型在平衡面板条件下实现了最低的MSE（0.046478），表明其具有更优的预测性能。
• 基于度日和温度分箱的模型在未来的气候预测下表现出更高的预测误差，即使它们在历史上表现良好。
• 使用气象相似年（即气候特征与未来预测相似的历史年）作为加权依据，使模型选择准确率相比未加权准则最高提升了15%。
• 数据中的信噪比被发现是模型性能的关键决定因素，信噪比越高，通常意味着模型选择结果越可靠。