[论文解读] On pseudo-absence generation and machine learning for locust breeding ground prediction in Africa

Ibrahim Salihu Yusuf, Kale-ab Tessera+5 more|arXiv (Cornell University)|Nov 6, 2021

Species Distribution and Climate Change被引用 6

一句话总结

本研究评估了伪真值生成方法——随机抽样、环境轮廓法和背景范围限制法——在机器学习模型预测非洲沙漠蝗虫繁殖地中的表现。研究发现，与复杂集成模型及先进伪真值技术相比，逻辑回归结合简单随机抽样在有限标注数据条件下展现出更优的性能，为早期预警系统提供了稳健且高效的解决方案。

ABSTRACT

Desert locust outbreaks threaten the food security of a large part of Africa and have affected the livelihoods of millions of people over the years. Machine learning (ML) has been demonstrated as an effective approach to locust distribution modelling which could assist in early warning. ML requires a significant amount of labelled data to train. Most publicly available labelled data on locusts are presence-only data, where only the sightings of locusts being present at a location are recorded. Therefore, prior work using ML have resorted to pseudo-absence generation methods as a way to circumvent this issue. The most commonly used approach is to randomly sample points in a region of interest while ensuring that these sampled pseudo-absence points are at least a specific distance away from true presence points. In this paper, we compare this random sampling approach to more advanced pseudo-absence generation methods, such as environmental profiling and optimal background extent limitation, specifically for predicting desert locust breeding grounds in Africa. Interestingly, we find that for the algorithms we tested, namely logistic regression, gradient boosting, random forests and maximum entropy, all popular in prior work, the logistic model performed significantly better than the more sophisticated ensemble methods, both in terms of prediction accuracy and F1 score. Although background extent limitation combined with random sampling boosted performance for ensemble methods, for LR this was not the case, and instead, a significant improvement was obtained when using environmental profiling. In light of this, we conclude that a simpler ML approach such as logistic regression combined with more advanced pseudo-absence generation, specifically environmental profiling, can be a sensible and effective approach to predicting locust breeding grounds across Africa.

研究动机与目标

• 评估不同伪真值生成技术对预测非洲沙漠蝗虫繁殖地的机器学习性能的影响。
• 评估环境轮廓法和背景范围限制等高级方法相较于标准随机抽样的有效性。
• 确定复杂集成模型（XGBoost、随机森林）是否在此背景下优于更简单的线性模型（逻辑回归）。
• 确定最有效的伪真值生成方法与机器学习算法组合，以实现蝗虫暴发的早期预警。
• 在数据稀缺条件下，验证简单可解释模型相较于复杂模型在生态预测中的实际应用价值。

提出的方法

• 本研究使用粮农组织（FAO）蝗虫中心提供的存在数据，并以环境变量作为模型训练的特征。
• 应用四种伪真值生成方法：随机抽样（RS）、结合环境轮廓的随机抽样（RSEP）、结合背景范围限制的随机抽样（RS+），以及同时结合环境轮廓与范围限制的随机抽样（RSEP+）。
• 训练四种机器学习模型：逻辑回归（LR）、XGBoost、随机森林（RF）和MaxEnt（一种无需伪真值的现存在-背景模型）。
• 通过100折交叉验证评估性能，指标包括准确率和F1分数。
• 采用SHAP（Shapley加性解释）分析来解释逻辑回归模型中特征重要性。
• 使用Friedman对齐秩检验和Holm校正的成对比较，评估性能差异的统计显著性。

实验结果

研究问题

• RQ1 背景范围限制是否能提升集成机器学习模型在预测蝗虫繁殖地方面的性能？
• RQ2 在预测蝗虫繁殖地建模中，不同伪真值生成方法在预测准确率和F1分数方面的表现如何比较？
• RQ3 在该生态预测任务中，逻辑回归是否始终优于XGBoost和随机森林等更复杂的集成模型？
• RQ4 在此背景下，线性模型与集成模型的特征重要性模式差异有多大？
• RQ5 使用高级伪真值方法与标准随机抽样相比，模型性能是否存在统计学上的显著差异？

主要发现

• 逻辑回归在所有伪真值生成方法下均取得最高平均准确率（0.8541 ± 0.0020）和F1分数（0.9098 ± 0.0011），显著优于XGBoost、随机森林和MaxEnt（p < 2×10⁻¹⁶）。
• 对于逻辑回归，四种伪真值生成方法之间无统计学上显著差异，表明其对方法选择具有鲁棒性。
• 对于XGBoost和随机森林，结合背景范围限制的随机抽样（RS+）显著提升了性能，其F1分数分别提升至0.8448 ± 0.0012和0.8660 ± 0.0121。
• SHAP分析显示，仅少数特征（如Albedo_inst_bucket_14、clay_0.5cm_mean）对逻辑回归预测有显著贡献，表明对噪声特征的过拟合程度较低。
• Friedman检验拒绝了“无性能差异”的原假设（p < 2×10⁻¹⁶），证实模型选择与方法选择对结果有显著影响。
• 尽管使用了高级伪真值技术，但无任何方法显著提升逻辑回归的性能，支持在该任务中采用简单随机抽样结合线性模型。