[论文解读] PiML Toolbox for Interpretable Machine Learning Model Development and Diagnostics

Agus Sudjianto, Aijun Zhang+3 more|arXiv (Cornell University)|May 7, 2023

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

PiML 是一个开源的 Python 工具箱，整合了可解释机器学习模型开发与监督学习的全面诊断功能。它支持内在可解释模型（例如，GAM、XGB1/XGB2、EBM）以及模型无关的可解释性（例如，SHAP、LIME、PFI），并配备了一套模型诊断功能，包括公平性、鲁棒性和可靠性测试，支持在低代码和高代码环境中实现端到端的工作流，适用于金融和模型风险管理领域。

ABSTRACT

PiML (read $π$-ML, /`pai`em`el/) is an integrated and open-access Python toolbox for interpretable machine learning model development and model diagnostics. It is designed with machine learning workflows in both low-code and high-code modes, including data pipeline, model training and tuning, model interpretation and explanation, and model diagnostics and comparison. The toolbox supports a growing list of interpretable models (e.g. GAM, GAMI-Net, XGB1/XGB2) with inherent local and/or global interpretability. It also supports model-agnostic explainability tools (e.g. PFI, PDP, LIME, SHAP) and a powerful suite of model-agnostic diagnostics (e.g. weakness, reliability, robustness, resilience, fairness). Integration of PiML models and tests to existing MLOps platforms for quality assurance are enabled by flexible high-code APIs. Furthermore, PiML toolbox comes with a comprehensive user guide and hands-on examples, including the applications for model development and validation in banking. The project is available at https://github.com/SelfExplainML/PiML-Toolbox.

研究动机与目标

• 解决银行业和金融等高风险领域对可解释且可审计的机器学习模型日益增长的需求。
• 提供一个统一框架，将模型开发、解释、说明和诊断整合到单一工作流中。
• 同时支持内在可解释模型和事后解释技术，以实现模型透明性。
• 在无需访问模型内部结构的情况下，实现模型诊断（如公平性、鲁棒性和可靠性），支持 MLOps 中的质量保证。
• 通过灵活的高代码 API 实现与现有 MLOps 平台的集成，支持生产环境中的模型部署与验证。

提出的方法

• 采用双接口设计：低代码面板用于基于 Jupyter 的交互式工作流，高代码 API 用于程序化控制与自动化。
• 支持日益丰富的内在可解释模型，包括 GLM、GAM、Tree、XGB1/XGB2、EBM、GAMI-Net 和 ReLU-DNN，每种模型均内置全局与局部可解释性。
• 提供统一的 API：`model_interpret()` 用于玻璃盒模型的解释，`model_explain()` 用于事后解释（SHAP、LIME、PFI、PDP），`model_diagnose()` 用于模型无关的诊断，`model_compare()` 用于多模型评估。
• 支持对预训练模型（甚至黑箱模型）进行模型注册，仅通过预测接口即可实现完整的诊断与解释功能。
• 采用数据驱动技术实现模型无关的诊断：使用一维/二维切片检测薄弱点与过拟合，使用分层预测（split conformal prediction）评估可靠性，使用扰动测试评估鲁棒性与抗性。
• 通过差异性测试、分箱与阈值设定支持公平性诊断，并提供去偏选项。

实验结果

研究问题

• RQ1 如何在统一且用户友好的框架中系统化地开发和诊断可解释机器学习模型？
• RQ2 模型无关诊断（如公平性、鲁棒性、可靠性）在黑箱模型和内在可解释模型上的有效应用程度如何？
• RQ3 一个单一工具箱能否在银行等受监管领域中整合低代码与高代码工作流，用于模型开发、解释与验证？
• RQ4 弱点击穿检测与分层预测等诊断技术如何增强模型的可信度与质量保证？
• RQ5 将可解释模型与诊断功能整合，对金融机构的模型风险管理有何影响？

主要发现

• PiML 支持多种内在可解释模型，包括 GAM、XGB1/XGB2、EBM 和 GAMI-Net，每种模型均具备原生的全局与局部可解释性。
• 该工具箱可在无需访问模型内部结构的情况下，使用一维/二维切片与分层预测等技术，实现模型无关的诊断，如公平性、鲁棒性与可靠性测试。
• PiML 的高代码 API 天然兼容 MLOps 平台，可集成到自动化质量保证流水线中，用于模型验证。
• 自 2022 年 5 月 4 日首次发布以来，该工具箱已被多家金融机构采用，表明其在模型风险管理中的实际应用价值。
• 通过 `model_compare()` 进行的模型比较支持使用图形化仪表板对性能与诊断指标进行并排评估，实现模型排序与选择。
• 自 v0.6 版本起，通过基于预测分数的伪模型诊断功能，将诊断能力扩展至无法直接访问模型对象的模型。