[论文解读] Scalable Bayesian Rule Lists

Hongyu Yang, Cynthia Rudin+1 more|arXiv (Cornell University)|Feb 27, 2016

Bayesian Modeling and Causal Inference参考文献 30被引用 9

一句话总结

本文提出可扩展贝叶斯规则列表（SBRL），一种快速、可解释的贝叶斯概率分类器，通过高效计算、筛选边界和计算重用，优化贝叶斯层次模型下的规则列表。SBRL 在保持或超越决策树在基准数据集上准确率和稀疏性的同时，相较先前方法实现了两个数量级的速度提升。

ABSTRACT

We present an algorithm for building probabilistic rule lists that is two orders of magnitude faster than previous work. Rule list algorithms are competitors for decision tree algorithms. They are associative classifiers, in that they are built from pre-mined association rules. They have a logical structure that is a sequence of IF-THEN rules, identical to a decision list or one-sided decision tree. Instead of using greedy splitting and pruning like decision tree algorithms, we fully optimize over rule lists, striking a practical balance between accuracy, interpretability, and computational speed. The algorithm presented here uses a mixture of theoretical bounds (tight enough to have practical implications as a screening or bounding procedure), computational reuse, and highly tuned language libraries to achieve computational efficiency. Currently, for many practical problems, this method achieves better accuracy and sparsity than decision trees; further, in many cases, the computational time is practical and often less than that of decision trees. The result is a probabilistic classifier (which estimates P(y = 1|x) for each x) that optimizes the posterior of a Bayesian hierarchical model over rule lists.

研究动机与目标

• 开发一种在准确率、可解释性和计算效率之间取得平衡的概率分类器，以解决贪婪决策树算法的局限性。
• 通过使用贝叶斯后验最大化，在规则列表上进行全局优化，克服决策树的局部优化缺陷。
• 通过结合理论边界、频繁模式挖掘和高性能计算，实现规则列表上的实用、可扩展的推理。
• 生成稀疏、逻辑性强的规则列表，兼具高准确率和人类可读性，适用于实际部署。

提出的方法

• SBRL 使用贝叶斯层次模型定义一个合理的目标：在给定数据的前提下，最大化规则列表的后验概率。
• 它从数据中预先挖掘频繁模式，将搜索空间限制在仅能捕获最少数量实例的规则上，从而减少组合爆炸。
• 该算法采用紧致的后验分析边界，筛选并高效剪枝次优规则，从而减少搜索空间。
• 应用计算重用：当修改规则列表时，仅重新计算变化点以下的数据，复用上方的先前结果。
• 使用高度优化的底层库，加速在训练数据上对规则列表的重复评估，实现快速迭代。
• 该方法结合上述各组件，对规则列表进行全局优化，避免决策树中使用的贪婪启发式方法。

实验结果

研究问题

• RQ1 全局优化的规则列表分类器是否能在保持计算可行性的同时，超越贪婪决策树算法在准确率和稀疏性方面的表现？
• RQ2 后验理论边界的紧致性是否足以作为规则列表优化中的实用筛选工具？
• RQ3 计算重用和高性能库是否能将规则列表优化的时间复杂度降低两个数量级？
• RQ4 所得到的概率规则列表是否在保持高可解释性的同时，于标准基准测试中达到最先进性能？

主要发现

• SBRL 在贝叶斯规则列表学习的先前最佳实现基础上，实现了超过两个数量级的计算速度提升。
• 在 UCI 蘑菇数据集上，SBRL 在笔记本电脑上约 9 秒内学习到一个完美泛化准确率的规则列表。
• 在 UCI adult 数据集上，SBRL 的泛化 AUC 高于经过大量调优的 CART 或 C4.5 决策树。
• 该方法生成稀疏、可解释的规则列表，提供概率输出，可估计每个输入 x 的 P(y=1|x)。
• 使用分析后验边界可有效剪枝次优规则组合，且不损失解的质量。
• 计算重用和优化库使得规则列表修改的评估高效进行，使全局优化成为可行方案。