[论文解读] Safer Together: Machine Learning Models Trained on Shared Accident Datasets Predict Construction Injuries Better than Company-Specific Models

Antoine J. -P. Tixier, Matthew R. Hallowell|arXiv (Cornell University)|Jan 9, 2023

Occupational Health and Safety Research被引用 4

一句话总结

本研究表明，基于九家公司的57,000起建筑事故报告的共享聚合数据集训练的机器学习模型，在预测伤害严重程度、伤害类型和事故类型方面，优于公司特定的模型。通过在多个组织间应用迁移学习，通用模型平均F1得分提升4.4（最高提升15.3），并平均多预测2.26个结果类别，从而实现更广泛、更具可操作性的安全预测，同时减少对单个公司数据和模型训练的需求。

ABSTRACT

In this study, we capitalized on a collective dataset repository of 57k accidents from 9 companies belonging to 3 domains and tested whether models trained on multiple datasets (generic models) predicted safety outcomes better than the company-specific models. We experimented with full generic models (trained on all data), per-domain generic models (construction, electric T&D, oil & gas), and with ensembles of generic and specific models. Results are very positive, with generic models outperforming the company-specific models in most cases while also generating finer-grained, hence more useful, forecasts. Successful generic models remove the needs for training company-specific models, saving a lot of time and resources, and give small companies, whose accident datasets are too limited to train their own models, access to safety outcome predictions. It may still however be advantageous to train specific models to get an extra boost in performance through ensembling with the generic models. Overall, by learning lessons from a pool of datasets whose accumulated experience far exceeds that of any single company, and making these lessons easily accessible in the form of simple forecasts, generic models tackle the holy grail of safety cross-organizational learning and dissemination in the construction industry.

研究动机与目标

• 评估基于多个公司 pooled 事故数据训练的通用机器学习模型是否在预测建筑安全结果方面优于基于单个公司数据训练的模型。
• 评估数据共享与集体智能在提升建筑伤害风险预测准确性方面的价值。
• 确定基于领域或全通用模型哪种更有效，以及集成通用与特定模型是否能提升性能。
• 使拥有有限事故数据的小型公司能够通过通用模型获得高质量的安全预测。
• 建立一个可扩展、保护隐私的跨组织安全预测框架，使用标准化属性。

提出的方法

• 本研究采用标准化属性框架，利用基于规则和词典的经验证自然语言处理工具，从叙述性事故报告中提取基本工作条件（例如，地板上的物体、工具、材料）。
• 来自三个领域（建筑、电力输配电、石油与天然气）的九家公司的所有数据集均被标准化为同一分类体系，以确保数据互操作性与隐私保护。
• 监督学习模型在三类数据上进行训练：公司特定数据集、全通用数据集（所有公司）以及按领域划分的通用数据集（建筑、T&D、石油与天然气）。
• 通过分层交叉验证确保稳健性，使用F1分数、精确率、召回率以及ROC曲线下面积评估模型性能。
• 通过加权平均法组合通用模型与公司特定模型的预测结果，生成集成模型，最优权重在验证集上确定。
• 通过超参数调优与模型堆叠选择最佳性能模型，所有配置中均测试了随机森林、XGBoost和SVM。

Figure 1: Company-level max gains, across all domains and outcomes. n=41, min=0.2, max=15.3, mean=4.4.

实验结果

研究问题

• RQ1 基于多个公司共享事故数据训练的通用模型是否比基于单个公司数据训练的模型更准确地预测建筑伤害结果？
• RQ2 通用模型的性能增益是否在不同安全结果（如伤害严重程度、伤害类型、事故类型）和领域中保持一致？
• RQ3 集成通用与公司特定模型是否比单独使用任一模型类型表现更优？
• RQ4 基于领域的通用模型（如仅建筑）是否与基于所有领域的全通用模型效果相当？
• RQ5 在集成模型中，数据量（通用）与数据相关性（特定）之间的最优平衡是什么？

主要发现

• 在82%的公司-领域-结果组合中，基于全部57,000起事故记录训练的通用模型优于公司特定模型，平均F1得分提升4.4（最高提升15.3）。
• 在伤害类型预测中，通用模型平均F1得分提升6.17，其中建筑领域最高提升达10.64。
• 通用模型平均比公司特定模型多预测2.26个结果类别，最多多出7个类别，从而实现更具可操作性的安全预测。
• 集成通用与特定模型的性能最高，尤其在伤害类型与严重程度预测中，仅当两种模型类型结合时才达到最佳结果。
• 全通用模型并非始终优于基于领域的通用模型，某些情况下基于领域的模型表现更优，表明领域特定模式具有重要意义。
• 尽管随机森林在15组组合中的6组中取得最高个体得分，但XGBoost因模型尺寸更小，成为部署的更实用选择，性能与随机森林相近。

Figure 2: Gains averaged over companies. Left: n=48, min=0.16, max=9.98, mean=2.22. Right: n=11, min=0.95, max=9.98, mean=3.37.