[论文解读] Or's of And's for Interpretable Classification, with Application to Context-Aware Recommender Systems

Tong Wang, Cynthia Rudin+4 more|arXiv (Cornell University)|Apr 28, 2015

Recommender Systems and Techniques参考文献 51被引用 27

一句话总结

本文提出贝叶斯或的与（BOA），一种概率模型，可学习由析取（或）的合取（与）规则组成的可解释、稀疏分类器，以提升人类可解释性。通过使用贝塔-二项分布和泊松先验，BOA 实现了用户可控的模型复杂度，并在基准数据集上达到最先进性能，包括在含噪声的井字棋数据上实现完美表现，优于决策树、支持向量机和线性模型。

ABSTRACT

We present a machine learning algorithm for building classifiers that are comprised of a small number of disjunctions of conjunctions (or's of and's). An example of a classifier of this form is as follows: If X satisfies (x1 = 'blue' AND x3 = 'middle') OR (x1 = 'blue' AND x2 = '<15') OR (x1 = 'yellow'), then we predict that Y=1, ELSE predict Y=0. An attribute-value pair is called a literal and a conjunction of literals is called a pattern. Models of this form have the advantage of being interpretable to human experts, since they produce a set of conditions that concisely describe a specific class. We present two probabilistic models for forming a pattern set, one with a Beta-Binomial prior, and the other with Poisson priors. In both cases, there are prior parameters that the user can set to encourage the model to have a desired size and shape, to conform with a domain-specific definition of interpretability. We provide two scalable MAP inference approaches: a pattern level search, which involves association rule mining, and a literal level search. We show stronger priors reduce computation. We apply the Bayesian Or's of And's (BOA) model to predict user behavior with respect to in-vehicle context-aware personalized recommender systems.

研究动机与目标

• 开发一种机器学习模型，使其在人类可解释性方面表现优异，尤其适用于消费者行为和医疗等决策场景。
• 通过将分类器建模为合取（与）的析取（或）（即‘或的与’），解决可解释性与准确性之间的权衡，使其符合人类推理模式。
• 通过可调的贝叶斯先验，使用户能够控制模型复杂度（如模式大小和长度），以反映特定领域的可解释性需求。
• 设计可扩展的推理方法，在缩减的搜索空间中寻找高质量、全局最优的模型，同时保持最优性的理论保证。
• 在真实应用场景中证明模型的有效性，特别是在情境感知推荐系统和医疗诊断等对可解释性要求极高的领域。

提出的方法

• BOA 模型采用生成式贝叶斯方法，包含两种变体：BOA-BetaBinomial 和 BOA-Poisson，每种均具有用户可调的先验，用于控制模式集合大小和模式长度。
• 该模型将分类器表示为合取（与）的析取（或）（DNF 形式），其中每个合取（模式）是属性-值对（文字）的逻辑‘与’，而整个模型则是这些模式的逻辑‘或’。
• 模式级搜索结合关联规则挖掘与模拟退火，预先筛选高频模式，从而减少搜索空间，同时保留找到最大 aposteriori（MAP）解的能力。
• 文字级搜索通过修改当前模式集合中的单个文字执行随机局部搜索，可在更高计算成本下探索更广阔解空间。
• 推导出理论边界，以确保在先验较强且数据集不过大的情况下，预挖掘的模式足以找到 MAP 解。
• 模型整合了先验参数，使用户能够编码特定领域的可解释性偏好，例如偏好更短的模式或特定数量的模式。

实验结果

研究问题

• RQ1 贝叶斯模型能否学习到以‘或的与’规则形式表示的、既准确又对人类专家可理解的可解释、稀疏分类器？
• RQ2 如何设计先验分布，使用户能够控制最终分类器模型的大小和形状，以匹配特定领域的可解释性需求？
• RQ3 在何种条件下，可保证预挖掘的模式（来自关联规则挖掘）包含 MAP 解，从而实现可扩展的推理？
• RQ4 在具有已知逻辑结构的真实数据集上，BOA 模型在准确性和可解释性方面相较于标准基线（如决策树、SVM 和线性模型）表现如何？
• RQ5 在高噪声水平下，即使传统贪心或凸化方法失效，该模型是否仍能有效恢复数据中真实的底层逻辑规则？

主要发现

• 在井字棋数据集上，BOA 实现了 1.000 的完美 AUC，优于所有基线模型，包括 C4.5、CART、随机森林和 SVM。
• 在相同数据集加入 30% 噪声后，BOA 仍保持完美性能（AUC = 1.000），而 C4.5 和 CART 等模型则出现显著准确率下降。
• 在乳腺癌数据集上，BOA 生成了包含 3 个模式的规则集，达到 95.2% 的样本外准确率、97.4% 的真正例率和 6.0% 的假正例率，展现出强大的临床可解释性。
• 该模型能够恢复精确的逻辑规则（如在井字棋中），凸显其相对于贪心或凸化方法的优势，后者常无法找到最优解。
• 当用户偏好更短模式时，模式级搜索方法在效率和效果上更优；而文字级搜索虽计算成本更高，但提供了更广泛的探索能力。
• 理论分析表明，当先验足够强时，预挖掘的模式在理论上足以找到 MAP 解，从而实现可扩展推理且不损失最优性。