[论文解读] On Symbolically Encoding the Behavior of Random Forests

Arthur Choi, Andy Shih+2 more|arXiv (Cornell University)|Jul 3, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用 19

一句话总结

本文提出了一种针对随机森林的可靠且完备的布尔编码方法，可实现对主要蕴含项的精确计算——这对于解释模型决策至关重要。该方法识别出在用于主要蕴含项提取时，标准编码（如独热编码）存在的缺陷，并提出一种通过一致性约束和精确一个约束，从布尔编码中推导多值主要蕴含项的方法，确保可解释性任务的正确性。

ABSTRACT

Recent work has shown that the input-output behavior of some machine learning systems can be captured symbolically using Boolean expressions or tractable Boolean circuits, which facilitates reasoning about the behavior of these systems. While most of the focus has been on systems with Boolean inputs and outputs, we address systems with discrete inputs and outputs, including ones with discretized continuous variables as in systems based on decision trees. We also focus on the suitability of encodings for computing prime implicants, which have recently played a central role in explaining the decisions of machine learning systems. We show some key distinctions with encodings for satisfiability, and propose an encoding that is sound and complete for the given task.

研究动机与目标

• 为解决具有离散或离散化连续输入的机器学习模型中，正确计算主蕴含项的挑战。
• 识别现有布尔编码（尤其是用于主蕴含项计算时）在应用于决策树和随机森林等多值系统时的不足之处。
• 开发一种可靠且完备的编码方法，确保在转换为布尔逻辑以进行推理任务时，保留多值逻辑的语义。
• 通过确保布尔编码准确反映底层多值行为，实现利用主蕴含项对随机森林决策进行有效解释。
• 通过提供可靠的编码流水线，支持基于知识编译或SAT/SMT求解器的可扩展且形式化的推理。

提出的方法

• 使用经典的独热编码将离散变量表示为布尔变量，确保每个变量恰好取一个值。
• 构建一个精确一个约束（Ψ），以强制每个多值变量对应的布尔变量中仅有一个为真，从而保持语义一致性。
• 将决策树或随机森林的输入-输出行为编码为布尔表达式（Δb），使用文字的合取与析取表示函数。
• 计算蕴含式 Ψ ⇒ Δb 的主蕴含项，然后仅筛选出为负且与 Ψ 一致的项，以恢复有效的多值主蕴含项。
• 在最终的布尔表达式上利用现有的 SAT 或知识编译工具（如 OBDD）以支持高效推理与解释。
• 通过证明所推导的布尔主蕴含项与原始系统的多值主蕴含项完全对应，确保正确性。

实验结果

研究问题

• RQ1 标准布尔编码（用于离散或离散化连续输入）是否能正确支持模型解释中主蕴含项的计算？
• RQ2 在多值系统中，用于可满足性的编码与用于主蕴含项计算的编码之间，关键区别是什么？
• RQ3 如何将一个多值决策函数转换为布尔表达式，使得其主蕴含项能准确反映原始函数的真实主蕴含项？
• RQ4 是否存在一种系统性方法，可从布尔编码中提取多值主蕴含项，而不会引入虚假正例或负例？
• RQ5 所提出的编码能否与可 tractable 布尔电路或 SAT 求解器有效结合，用于可解释人工智能？

主要发现

• 标准独热编码虽然在可满足性任务中是可靠的，但在直接用于解释时可能产生错误的主蕴含项，原因在于未能强制执行互斥性。
• 所提出的方法——通过精确一个约束并筛选布尔主蕴含项——可确保仅保留有效、一致且为负的主蕴含项，从而实现可靠性和完备性。
• 从布尔编码 Ψ ⇒ Δb 中导出的主蕴含项，当限制为负项且与 Ψ 一致时，与原始决策函数的多值主蕴含项完全对应。
• 该方法与现有可解释性流水线兼容，例如基于 OBDD 的知识编译或 SMT 求解器，可实现对随机森林决策的高效且正确的解释。
• 该方法具有通用性，不仅适用于随机森林，还可推广至任何具有离散或离散化连续输入、且决策路径可编码为逻辑表达式的系统。
• 本工作为在可解释人工智能中使用布尔推理工具提供了形式化基础，纠正了先前方法中直接对朴素编码应用主蕴含项计算所存在的关键缺陷。