[论文解读] VAE-LIME: Deep Generative Model Based Approach for Local Data-Driven Model Interpretability Applied to the Ironmaking Industry

Cédric Schockaert, Vadim Macher+1 more|arXiv (Cornell University)|Jan 1, 2020

Neural Networks and Applications参考文献 10被引用 5

一句话总结

本文提出 VAE-LIME，一种用于高炉炼铁工业中数据驱动黑箱模型的新型局部可解释性方法，通过变分自编码器（VAE）生成更真实、符合工艺流程的合成数据，用于训练局部代理模型。通过用尊重高炉数据中多变量时间相关性的 VAE 生成样本替代 LIME 的随机采样，VAE-LIME 在近似黑箱模型预测时显著提升了保真度（R² = 0.98 vs. 0.93）并降低了误差（MSE = 6.1 vs. 19.4）。

ABSTRACT

Machine learning applied to generate data-driven models are lacking of transparency leading the process engineer to lose confidence in relying on the model predictions to optimize his industrial process. Bringing processes in the industry to a certain level of autonomy using data-driven models is particularly challenging as the first user of those models, is the expert in the process with often decades of experience. It is necessary to expose to the process engineer, not solely the model predictions, but also their interpretability. To that end, several approaches have been proposed in the literature. The Local Interpretable Model-agnostic Explanations (LIME) method has gained a lot of interest from the research community recently. The principle of this method is to train a linear model that is locally approximating the black-box model, by generating randomly artificial data points locally. Model-agnostic local interpretability solutions based on LIME have recently emerged to improve the original method. We present in this paper a novel approach, VAE-LIME, for local interpretability of data-driven models forecasting the temperature of the hot metal produced by a blast furnace. Such ironmaking process data is characterized by multivariate time series with high inter-correlation representing the underlying process in a blast furnace. Our contribution is to use a Variational Autoencoder (VAE) to learn the complex blast furnace process characteristics from the data. The VAE is aiming at generating optimal artificial samples to train a local interpretable model better representing the black-box model in the neighborhood of the input sample processed by the black-box model to make a prediction. In comparison with LIME, VAE-LIME is showing a significantly improved local fidelity of the local interpretable linear model with the black-box model resulting in robust model interpretability.

研究动机与目标

• 为解决工业高炉炼铁中使用的黑箱数据驱动模型缺乏可解释性的问题，这些模型因预测结果不透明而使工艺工程师难以信任。
• 通过生成更真实、符合工艺流程的合成数据来提升 LIME 的局部保真度，用于训练局部代理模型。
• 利用多变量时间序列高炉数据中复杂的相关结构，提升局部解释的可靠性。
• 为工艺工程师提供可信的、实例特定的解释，以支持模型验证和操作决策。
• 开发一种与模型无关、事后可解释性框架，适用于工业环境中任意训练好的黑箱模型。

提出的方法

• 在高炉的历史多变量时间序列数据上训练变分自编码器（VAE），以学习底层数据分布和复杂的变量间相关性。
• 训练后的 VAE 在给定输入样本周围生成合成数据点，确保其位于真实数据流形内并符合工艺动态特性。
• 使用 VAE 生成的样本训练局部线性代理模型，替代 LIME 的随机采样策略。
• 优化局部代理模型，使其在输入样本的局部邻域内最佳逼近黑箱模型的预测结果。
• 通过 R²、均方误差（MSE）以及代理模型与黑箱模型预测之间的绝对误差等指标评估模型保真度。
• 该方法应用于预测高炉中的铁水温度，这是具有高操作惯性和复杂变量依赖关系的关键工业过程。

实验结果

研究问题

• RQ1 深度生成模型能否提升工业多变量时间序列数据中基于 LIME 的局部可解释性保真度？
• RQ2 与随机采样相比，VAE 生成的数据在保留局部解释的底层工艺结构方面表现如何？
• RQ3 与标准 LIME 相比，VAE-LIME 在多大程度上降低了局部代理模型与黑箱模型之间的误差？
• RQ4 使用 VAE 生成的样本是否能带来更稳定可靠的变量重要性排序？
• RQ5 VAE-LIME 是否能为高惯性工业系统中的领域专家提供更可信、符合工艺流程的解释？

主要发现

• 与 LIME 的 0.93 相比，VAE-LIME 在局部代理模型上实现了显著更高的 R² 得分（0.98），表明其对黑箱模型的保真度更优。
• 与 LIME 的 MSE（19.4）相比，VAE-LIME 将局部代理模型的均方误差（MSE）降低至 6.1，改善幅度达 69%。
• 在测试样本处，代理模型与黑箱模型预测之间的绝对误差从 LIME 的 0.57°C 降低至 VAE-LIME 的 0.005°C。
• 在所有测试样本上的中位数绝对误差从 LIME 的 0.60 降低至 VAE-LIME 的 0.025，表明局部预测精度持续提升。
• 使用 VAE 生成的样本可实现对数据流形更稳定、更真实的表示，从而带来更可靠的变量重要性估计。
• VAE-LIME 在所有关键保真度指标上均优于 LIME，证实了面向工艺流程的数据生成能显著增强复杂工业系统中的局部可解释性。