[论文解读] waywiser: Ergonomic Methods for Assessing Spatial Models

M. J. Mahoney|arXiv (Cornell University)|Mar 20, 2023

demographic modeling and climate adaptation被引用 4

一句话总结

该论文介绍了 R 包 waywiser，其为评估空间预测模型提供了一致且用户友好的接口。该包统一了模型评估的多个方面，包括评估指标、空间自相关性、多尺度聚合以及适用性范围，输出类型和大小稳定，可无缝集成至 tidymodels 生态系统，从而提升可重复性并降低空间建模工作流中的认知负担。

ABSTRACT

Assessing predictive models can be challenging. Modelers must navigate a wide array of evaluation methodologies implemented with incompatible interfaces across multiple packages which may give different or even contradictory results, while ensuring that their chosen approach properly estimates the performance of their model when generalizing to new observations. Assessing models fit to spatial data can be particularly difficult, given that model errors may exhibit spatial autocorrelation, model predictions are often aggregated to multiple spatial scales by end users, and models are often tasked with generalizing into spatial regions outside the boundaries of their initial training data. The waywiser package for the R language attempts to make assessing spatial models easier by providing an ergonomic toolkit for model evaluation tasks, with functions for multiple assessment methodologies sharing a unified interface. Functions from waywiser share standardized argument names and default values, making the user-facing interface simple and easy to learn. These functions are additionally designed to be easy to integrate into a wide variety of modeling workflows, accepting standard classes as inputs and returning size- and type-stable outputs, ensuring that their results are of consistent and predictable data types and dimensions. Additional features make it particularly easy to use waywiser along packages and workflows in the tidymodels ecosystem.

研究动机与目标

• 解决 R 中空间模型评估工具接口不一致、碎片化的问题。
• 通过为多种评估方法提供一致且用户友好的接口，降低模型评估工作流中的认知负担和方法论错误。
• 实现对空间模型在多个空间尺度和适用性范围内的可靠、可扩展的评估。
• 确保输出类型和大小稳定，可与现有 R 模型工作流（尤其是 tidymodels 生态系统）无缝集成。
• 支持局部和全局空间自相关性诊断，以及多尺度性能评估，以提升模型验证效果。

提出的方法

• 该包实现了常用模型评估指标（如 RMSE、Willmott’s d1）的标准化函数，具有统一的参数名称和默认值。
• 通过全局和局部变体封装了空间自相关统计量（如 Moran’s I、Geary’s c），输出结构与输入数据一致。
• ww_multi_scale() 函数通过规则多边形网格实现多尺度聚合下的性能评估，支持自定义网格分辨率和指标集合。
• 与 sf 包集成以处理空间数据，同时支持数据框/向量形式的非空间输入，确保与标准 R 模型流程的兼容性。
• 该包设计用于与 tidymodels 工具（如 rsample、spatialsample、tune 和 dials）互操作，支持交叉验证和超参数调优。
• 所有函数均返回可预测且稳定的输出（如每项指标或每条观测对应一行的 tibble），提升程序化使用的便利性。

Figure 1: Automatically calculated spatial neighbors for departments of France. Lines between department centroids indicate a neighbor relationship.

实验结果

研究问题

• RQ1 统一且用户友好的接口在多大程度上能提升 R 中空间模型评估的可用性和一致性？
• RQ2 标准化的参数名称和稳定输出在多大程度上能减少模型评估工作流中的错误和认知负担？
• RQ3 该包在不同聚合层级下对空间模型进行多尺度性能评估的支持效果如何？
• RQ4 该包能否有效集成至 tidymodels 生态系统，以支持自动化模型调优和交叉验证？
• RQ5 局部和全局空间自相关指标在多大程度上有助于诊断空间预测模型中的模型误设问题？

主要发现

• waywiser 包成功通过一致的接口，统一了包括指标、空间自相关性及多尺度评估在内的多种方法的模型评估。
• ww_multi_scale() 函数实现了在多个空间尺度下的可靠性能评估，结果显示在 2×2、5×5 和 10×10 网格下 RMSE 和 Willmott’s d1 值存在差异。
• 局部 Moran’s I 和 Geary’s c 统计量识别出印度南部存在残差的空间聚类，此外在东南亚、西非和南美洲也发现额外的热点区域。
• 全局 Geary’s c 值计算为 0.159，表明模型残差存在强烈的空间自相关性，提示模型可能存在误设。
• waywiser 中所有函数均返回类型和大小稳定的输出（如 tibble），确保程序化工作流中行为可预测，并与 tidymodels 无缝集成。
• 该包可与 rsample、spatialsample、tune 和 dials 无缝集成，支持基于交叉验证的模型评估和超参数优化。

Figure 2: Automatically calculated spatial neighbors for points from the WorldClim simulation data. Lines between points indicate a neighbor relationship.