[论文解读] Using Visual Analytics to Interpret Predictive Machine Learning Models

Josua Krause, Adam Perer+1 more|arXiv (Cornell University)|Jun 17, 2016

Multimodal Machine Learning Applications参考文献 11被引用 47

一句话总结

本文提出通过聚焦输入-输出行为而非模型内部结构，利用可视化分析来解释黑箱预测性机器学习模型。它引入了两个系统——Prospector用于局部模型检查，Class Signatures用于识别子群体中的特征模式，证明了高预测准确率与可解释性可以共存且无需妥协。

ABSTRACT

It is commonly believed that increasing the interpretability of a machine learning model may decrease its predictive power. However, inspecting input-output relationships of those models using visual analytics, while treating them as black-box, can help to understand the reasoning behind outcomes without sacrificing predictive quality. We identify a space of possible solutions and provide two examples of where such techniques have been successfully used in practice.

研究动机与目标

• 解决机器学习中可解释性会降低预测性能的普遍误解。
• 使数据科学家和领域专家能够在不访问模型内部结构的情况下理解模型行为。
• 开发支持模型调试、信任建立和诊断分析的交互式可视化分析系统。
• 为医疗保健等高风险领域提供实用工具，以解释复杂模型，其中透明度和问责制至关重要。
• 探索可视化分析如何在保持模型准确性的前提下，支持人类参与的预测模型解释过程。

提出的方法

• 使用可视化分析检查黑箱模型的输入-输出关系，将模型视为不透明系统。
• 实现Prospector，一个用户界面，允许用户交互式修改特征值，并通过部分依赖关系和一种新型局部特征重要性度量，实时观察预测变化。
• 采用四步流程——模型、对比、聚类、排序——以识别并可视化二值特征与二值目标之间的预测关联。
• 使用Class Signatures可视化聚类，其中条形长度表示特征存在/缺失的比例，颜色强度编码区分性重要性（基尼重要性）。
• 在用户界面中集成交互式排序与过滤功能，按影响、相关性或建议更改优先排序特征。
• 利用受试者工作特征（ROC）曲线指导筛选高信号预测的阈值选择，以支持模型诊断。

实验结果

研究问题

• RQ1 可视化分析技术是否能够在不牺牲预测性能的前提下，实现对黑箱机器学习模型的可解释性？
• RQ2 交互式可视化如何支持在复杂高风险领域中人类对模型行为的理解？
• RQ3 何种可视化表示最能支持识别驱动预测的关键特征和子群体？
• RQ4 输入-输出行为分析在多大程度上可以替代对模型结构的依赖以实现可解释性？
• RQ5 可视化分析工作流如何支持模型诊断、信任建立和可操作洞察的生成？

主要发现

• 通过分析输入-输出行为，可视化分析能够实现对黑箱模型的解释，证明可解释性与高预测准确率并非互斥。
• Prospector系统允许用户交互式修改特征值并实时观察预测变化，局部特征重要性度量可指导具有影响力的调整。
• Class Signatures能有效识别并可视化具有一致特征模式的数据子群体，条形长度和颜色强度分别编码特征存在性和区分性能力。
• 通过对比阈值和聚类的使用，提高了信号检测能力，聚焦于高置信度预测，从而实现更精确的诊断分析。
• 可视化分析通过突出特征贡献和子群体特定模式，支持模型比较和故障诊断。
• 通过交互式可视化进行用户主导的探索，增强了对模型结果的理解力、可信度和可操作性，尤其在医疗保健等复杂领域中表现显著。