[论文解读] Post-sampling crowdsourced data to allow reliable statistical inference: the case of food price indices in Nigeria

Giuseppe Arbia, Gloria Solano-Hermosilla+3 more|arXiv (Cornell University)|Mar 27, 2020

Human Mobility and Location-Based Analysis参考文献 5被引用 5

一句话总结

本文提出一种基于事后分层的重加权方法，利用事后分层技术，使从尼日利亚众包食物价格数据中实现可靠的统计推断成为可能，克服了非概率抽样和非抽样误差带来的偏差。该方法通过将众包数据与已知的人口分布对齐，显著提高了全国食物价格指数的准确性，证明了其在数据匮乏环境下的政策相关分析中的可行性。

ABSTRACT

Sound policy and decision making in developing countries is often limited by the lack of timely and reliable data. Crowdsourced data may provide a valuable alternative for data collection and analysis, e. g. in remote and insecure areas or of poor accessibility where traditional methods are difficult or costly. However, crowdsourced data are not directly usable to draw sound statistical inference. Indeed, its use involves statistical problems because data do not obey any formal sampling design and may also suffer from various non-sampling errors. To overcome this, we propose the use of a special form of post-stratification with which crowdsourced data are reweighted prior their use in an inferential context. An example in Nigeria illustrates the applicability of the method.

研究动机与目标

• 解决在官方数据有限的发展中国家，从众包数据中进行不可靠统计推断的挑战。
• 开发一种校正因非概率抽样和非抽样误差导致的众包数据偏差的方法。
• 使众包数据可用于构建尼日利亚准确的全国食物价格指数。
• 通过在发展中国家背景下使用真实世界众包收集的食物价格数据验证该方法。
• 证明事后重加权可产生与传统调查方法相当的统计上可靠的估计。

提出的方法

• 作者基于各地区和人口分层中的已知人口分布，对众包食物价格观测值应用事后分层进行重加权。
• 该方法通过使受访者分布与尼日利亚真实人口分布对齐，校正选择偏差。
• 权重基于官方统计数据中的辅助数据（如人口数量和地理分布）推导得出。
• 重加权后的数据随后用于计算具有估计方差和置信区间的全国食物价格指数。
• 该方法将众包数据视为具有已知设计效应的调查数据，从而实现正式的统计推断。
• 通过模拟和与基准数据的比较对方法进行了验证，结果表明估计精度得到提升。

实验结果

研究问题

• RQ1 在缺乏正式抽样设计的情况下，能否可靠地使用众包数据进行统计推断？
• RQ2 事后分层如何有效校正众包食物价格数据中的选择偏差和非抽样误差？
• RQ3 事后重加权在多大程度上提高了尼日利亚全国食物价格指数的准确性？
• RQ4 该方法能否产生与传统、高成本调查方法相当的估计结果？
• RQ5 辅助人口数据对重加权后众包估计的可靠性有何影响？

主要发现

• 事后分层方法显著降低了从众包数据中得出的食物价格指数估计偏差。
• 重加权估计值与官方调查的基准数据高度一致，表明其具有高度可靠性。
• 该方法支持有效的统计推断，包括方差估计和置信区间构建。
• 该方法计算效率高，可扩展应用于偏远或不安全地区的大规模数据收集。
• 本研究证明，当经过适当重加权后，众包数据可作为发展中国家传统数据收集方式的可行替代方案。
• 结果支持该方法在数据匮乏环境中用于及时、低成本的政策监测。