[论文解读] RuleMatrix: Visualizing and Understanding Classifiers with Rules

Yao Ming, Huamin Qu+1 more|arXiv (Cornell University)|Jul 17, 2018

Explainable Artificial Intelligence (XAI)参考文献 36被引用 5

一句话总结

RuleMatrix 是一种交互式可视化技术，可从训练好的黑箱分类器中提取基于规则的解释，并通过矩阵界面呈现，以提高非专家用户的可解释性。它使领域专家能够通过直观的过滤、高亮和规则导航来探索、验证和理解模型决策，显著增强了模型的透明度，且无需具备机器学习专业知识。

ABSTRACT

With the growing adoption of machine learning techniques, there is a surge of research interest towards making machine learning systems more transparent and interpretable. Various visualizations have been developed to help model developers understand, diagnose, and refine machine learning models. However, a large number of potential but neglected users are the domain experts with little knowledge of machine learning but are expected to work with machine learning systems. In this paper, we present an interactive visualization technique to help users with little expertise in machine learning to understand, explore and validate predictive models. By viewing the model as a black box, we extract a standardized rule-based knowledge representation from its input-output behavior. We design RuleMatrix, a matrix-based visualization of rules to help users navigate and verify the rules and the black-box model. We evaluate the effectiveness of RuleMatrix via two use cases and a usability study.

研究动机与目标

• 为解决复杂机器学习模型对机器学习知识有限的领域专家而言难以解释的问题。
• 通过生成基于规则的解释，弥合高性能黑箱模型与用户理解之间的差距。
• 设计一种交互式可视化技术，支持对模型行为和规则有效性进行系统性探索。
• 评估基于规则的可视化在提升用户对预测模型的理解和信任方面的有效性。
• 在医疗保健和信贷审批等实际应用场景中，展示 RuleMatrix 的实用性。

提出的方法

• 该方法首先应用一种模型归纳算法（SBRL），提取近似输入黑箱分类器输入-输出行为的规则列表。
• 每条规则表示为特征条件的合取（AND），并根据预测置信度分配类别标签。
• 规则以矩阵格式可视化，行代表规则，列代表特征，类别标签通过颜色编码表示。
• 该界面支持交互操作，包括按规则条件过滤数据、展开规则以查看详细信息，以及高亮相关数据实例。
• 控制面板允许用户调整可视化参数，如规则复杂度、过滤标准和特征可见性。
• 系统支持数据流视图和支撑视图，帮助用户追踪预测的生成过程，并查看有多少训练实例支持每条规则。

实验结果

研究问题

• RQ1 基于规则的界面能否提升非专家用户对黑箱分类器的可解释性？
• RQ2 RuleMatrix 可视化在帮助用户探索和验证模型决策方面有多有效？
• RQ3 与文本规则列表相比，可视化规则表示在可用性和理解度方面有何优势？
• RQ4 用户如何看待规则矩阵在诊断模型行为时的清晰度和直观性？
• RQ5 交互功能（如过滤和高亮）能否增强用户对复杂规则集的理解？

主要发现

• 可用性研究中的用户认为，展开、高亮和过滤等交互功能在导航复杂规则集时非常有用且直观。
• 参与者表示，可视化矩阵帮助他们快速定位规则中的假设，并理解模型行为，包括正确性和数据支持情况。
• 文本规则表示容易导致对区间条件的误解（例如，将 'x < 29' 与 '29 < x' 混淆），证实了可视化格式优于文本格式。
• 规则归纳算法（SBRL）生成的规则列表具有可接受的保真度，但处理包含 200,000 个样本的数据集时，性能受限在约 30 分钟内。
• 即使规则列表包含超过 100 条规则和 30 个特征，可视化界面仍有效支持对模型决策的理解，但可读性仅在最多 60 条规则和 20 个特征范围内得到验证。
• 一名参与者难以理解规则仅使用合取（AND）关系，表明未来设计中需要更清晰的视觉提示。