[论文解读] Open the Black Box Data-Driven Explanation of Black Box Decision Systems

Dino Pedreschi, Fosca Giannotti+5 more|arXiv (Cornell University)|Jun 26, 2018

Explainable Artificial Intelligence (XAI)参考文献 39被引用 36

一句话总结

本文提出了一种基于数据驱动、逻辑规则的局部到全局框架，用于解释黑箱决策系统，其规则具有统计可解释性和因果可解释性。通过在单个实例周围局部查询黑箱，并将这些解释泛化为全局、可理解的规则，该方法实现了在多样化领域中透明、公平且可审计的决策过程。

ABSTRACT

Black box systems for automated decision making, often based on machine learning over (big) data, map a user's features into a class or a score without exposing the reasons why. This is problematic not only for lack of transparency, but also for possible biases hidden in the algorithms, due to human prejudices and collection artifacts hidden in the training data, which may lead to unfair or wrong decisions. We introduce the local-to-global framework for black box explanation, a novel approach with promising early results, which paves the road for a wide spectrum of future developments along three dimensions: (i) the language for expressing explanations in terms of highly expressive logic-based rules, with a statistical and causal interpretation; (ii) the inference of local explanations aimed at revealing the logic of the decision adopted for a specific instance by querying and auditing the black box in the vicinity of the target instance; (iii), the bottom-up generalization of the many local explanations into simple global ones, with algorithms that optimize the quality and comprehensibility of explanations.

研究动机与目标

• 解决基于机器学习的决策系统作为黑箱运作时缺乏透明度和潜在偏见的问题。
• 使利益相关者——包括用户、监管机构和开发人员——能够理解、审计并挑战自动化决策。
• 开发一种实用且与模型无关的解释方法，适用于任何内部结构的决策模型。
• 通过提供直观且有意义的解释，支持符合GDPR解释权要求。
• 赋能用户和机构检测并减轻自动化系统中的不公平或歧视性结果。

提出的方法

• 使用表达性强的逻辑规则语言表示具有统计置信度和因果有效性的解释。
• 通过在特定输入实例的邻域内查询黑箱，执行局部解释，以推断其决策依据。
• 应用规则转换算子，将背景知识与学习到的规则结合，实现更高级别的泛化。
• 通过自下而上的抽象，将多个局部解释泛化为单一、全局的规则集，同时优化保真度与简洁性。
• 利用决策记录中的数据（输入-输出对）训练和验证解释模型，而无需访问黑箱的内部架构。
• 通过看门狗平台集成参与式、隐私保护的数据收集机制，积累用于发现解释的证据。

实验结果

研究问题

• RQ1 我们如何为黑箱系统做出的单个决策生成准确、可解释且具有因果意义的解释？
• RQ2 何种形式化语言和规则结构能够有效表达复杂决策逻辑，同时具备统计严谨性和人类可读性？
• RQ3 如何系统地将从单个实例中获得的局部解释泛化为一致且高覆盖率的全局解释？
• RQ4 该框架在支持自动化决策系统中的公平性审计和歧视检测方面有哪些作用？
• RQ5 如何使解释过程在真实世界应用中具备可扩展性和实用性，同时无需访问模型内部结构？

主要发现

• 局部到全局框架能够发现保留黑箱保真度的同时仍易于理解的全局决策规则。
• 规则转换算子可通过结合特征信息与背景知识，实现更高级规则的合成（例如，从邮政编码到配送结果）。
• 该方法支持规则的因果解释，能够检测到诸如少数族裔社区影响配送资格等间接歧视模式。
• 该框架与底层模型无关，因此可适用于任何决策系统，包括人机协同或混合模型。
• 该方法通过为非专家用户提供有意义且可操作的解释，支持GDPR解释权要求。
• 可集成参与式数据收集机制，以扩展解释发现过程，并减少用户与数据驱动组织之间的信息不对称。