[论文解读] Predictive Analytics for Water Asset Management: Machine Learning and Survival Analysis

Maryam Rahbaralam, David Modesto+3 more|arXiv (Cornell University)|Jul 2, 2020

Water Systems and Optimization参考文献 36被引用 8

一句话总结

该论文提出了一种混合机器学习与生存分析框架，用于预测巴塞罗那供水管网中水管的失效情况。通过整合领域特定特征、使用SMOTE处理类别不平衡问题，并采用XGBoost和Cox比例风险模型等方法，识别出管道几何形状、使用年限和材质为最主要的预测因子，实现了0.24的马修斯相关系数（Matthews Correlation Coefficient），并支持长期生存概率预测，以辅助维护优先级的制定。

ABSTRACT

Understanding performance and prioritizing resources for the maintenance of the drinking-water pipe network throughout its life-cycle is a key part of water asset management. Renovation of this vital network is generally hindered by the difficulty or impossibility to gain physical access to the pipes. We study a statistical and machine learning framework for the prediction of water pipe failures. We employ classical and modern classifiers for a short-term prediction and survival analysis to provide a broader perspective and long-term forecast, usually needed for the economic analysis of the renovation. To enrich these models, we introduce new predictors based on water distribution domain knowledge and employ a modern oversampling technique to remedy the high imbalance coming from the few failures observed each year. For our case study, we use a dataset containing the failure records of all pipes within the water distribution network in Barcelona, Spain. The results shed light on the effect of important risk factors, such as pipe geometry, age, material, and soil cover, among others, and can help utility managers conduct more informed predictive maintenance tasks.

研究动机与目标

• 开发适用于城市供水管网的水管失效预测框架，应对物理访问受限和维护成本高的挑战。
• 通过结合机器学习分类器与生存分析技术，提升短期和长期失效预测能力。
• 针对失效记录中仅约1%的管道每年发生失效这一数据不平衡问题，采用SMOTE进行合成数据增强以解决该问题。
• 识别并量化管道使用年限、几何形状、材质以及土壤覆盖等关键风险因素对失效概率的影响。
• 通过提供可解释的、基于数据的管道生存与退化洞察，支持水务管理机构在维护与修复工作中的优先级决策。

提出的方法

• 针对短期失效预测（1–4年）应用逻辑回归与XGBoost分类器，利用基于供水管网领域知识构建的特征工程。
• 采用合成少数类过采样技术（SMOTE）对高度不平衡的数据集进行平衡处理，其中99%的管道为非失效状态。
• 采用带有弹性网络正则化的Cox比例风险模型，以建模失效时间并估计生存概率。
• 通过逻辑回归的标准化系数与XGBoost的SHAP值进行预测因子重要性分析，以增强模型可解释性。
• 使用交叉验证的马修斯相关系数（MCC）评估模型性能，该指标在不平衡数据集中具有鲁棒性。
• 通过可视化不同管道材质的生存概率分布随时间的变化，比较长期可靠性，为基于材质的优先级决策提供支持。

实验结果

研究问题

• RQ1 哪些管道特性（如使用年限、材质、几何形状）在短期和长期中最具失效预测能力？
• RQ2 如何调整机器学习模型以应对水管失效数据中极端的类别不平衡问题？
• RQ3 领域特定特征在多大程度上提升了失效预测模型的性能？
• RQ4 不同材质在时间维度上的生存概率表现如何比较？
• RQ5 生存分析能否为长期资产管理与修复规划提供可操作的洞察？

主要发现

• XGBoost分类器在交叉验证下实现了约0.24的马修斯相关系数（MCC），表明其在不平衡数据集上具有中等预测性能。
• 管道几何形状与使用年限被确定为最关键的失效风险因素，在逻辑回归与基于SHAP的重要性分析中均位列第一。
• 生存分析结果显示，延性铸铁（FD）和聚乙烯（PEAMC）管道具有中等水平的生存概率分布，而钢管（AG）管道的中位生存概率超过95%。
• 生存模型的一致性指数（concordance score）在关键预测因子（如纵横比与安装年份）上超过0.55，证实其具有强大的预测能力。
• 基于SMOTE的重采样显著提升了分类器性能，有效缓解了对多数类（非失效）的偏差。
• 巴塞罗那管网中管道的生存概率存在显著差异，部分管道可达到100年寿命，且生存概率仍保持在50%以上。