[论文解读] Predicting Labor Shortages from Labor Demand and Labor Supply Data: A Machine Learning Approach.

Nikolas Dawson, Marian-Andrei Rizoiu+2 more|arXiv (Cornell University)|Apr 3, 2020

Labor market dynamics and wage inequality参考文献 25被引用 1

一句话总结

本研究开发了一种XGBoost机器学习模型，通过整合2012–2018年间的劳动力需求数据（来自130万条职位广告）和劳动力供给数据（20项官方劳动力调查指标），预测澳大利亚132个职业的年度劳动力短缺情况，最高达到86%的宏观F1得分，其中职位广告数据被证明是预测劳动力短缺变化的最关键特征。

ABSTRACT

This research develops a Machine Learning approach able to predict labor shortages for occupations. We compile a unique dataset that incorporates both Labor Demand and Labor Supply occupational data in Australia from 2012 to 2018. This includes data from 1.3 million job advertisements (ads) and 20 official labor force measures. We use these data as explanatory variables and leverage the XGBoost classifier to predict yearly labor shortage classifications for 132 standardized occupations. The models we construct achieve macro-F1 average performance scores of up to 86 per cent. However, the more significant findings concern the class of features which are most predictive of labor shortage changes. Our results show that job ads data were the most predictive features for predicting year-to-year labor shortage changes for occupations. These findings are significant because they highlight the predictive value of job ads data when they are used as proxies for Labor Demand, and incorporated into labor market prediction models. This research provides a robust framework for predicting labor shortages, and their changes, and has the potential to assist policy-makers and businesses responsible for preparing labor markets for the future of work.

研究动机与目标

• 开发一种用于预测澳大利亚劳动力市场劳动力短缺的机器学习框架。
• 整合劳动力需求（通过职位广告）和劳动力供给（通过官方劳动力调查指标）数据，实现全面预测。
• 评估不同类型数据在预测劳动力短缺年度变化中的预测性能。
• 识别对预测劳动力短缺动态最具信息量的数据特征。

提出的方法

• 整合130万条职位广告与20项官方劳动力调查指标（2012–2018年）的独特数据集。
• 使用XGBoost分类器预测132个标准化职业的年度劳动力短缺分类结果。
• 通过特征工程，以职位广告数量、频率及特征来表征劳动力需求。
• 采用宏观F1评分评估模型在劳动力短缺结果类别不平衡情况下的性能表现。
• 通过特征重要性分析，对劳动力需求与劳动力供给变量的预测能力进行排序。
• 通过预测劳动力短缺状态的年度变化，实现对劳动力短缺动态的时序建模。

实验结果

研究问题

• RQ1 能否利用劳动力需求与供给数据，通过机器学习模型有效预测标准化职业的年度劳动力短缺？
• RQ2 与官方劳动力供给指标相比，职位广告数据在预测劳动力短缺方面是否具有更强的预测能力？
• RQ3 劳动力需求与劳动力供给特征在预测劳动力短缺状态变化中的相对贡献如何？
• RQ4 职位广告能否作为劳动力市场预测模型中实时劳动力需求的可靠代理指标？

主要发现

• XGBoost模型最高达到86%的宏观F1得分，表明其在预测各类职业劳动力短缺方面表现优异。
• 职位广告数据被识别为预测劳动力短缺年度变化的最具预测力的特征集合。
• 职位广告数据的强预测能力凸显了其作为劳动力市场建模中实时劳动力需求代理指标的重要价值。
• 尽管劳动力供给指标具有信息量，但其对预测性能的贡献低于基于职位广告数据推导出的劳动力需求指标。
• 该模型成功捕捉了劳动力短缺状态的动态变化，展现出在前瞻性政策与规划中的实用价值。
• 特征重要性分析表明，职位广告数量与频率是驱动预测准确性的关键因素，尤其在预测短缺变化方面。