[论文解读] Scalable Rule-Based Representation Learning for Interpretable Classification

Zhuo Wang, Wei Zhang+2 more|arXiv (Cornell University)|Sep 30, 2021

Machine Learning and Data Classification参考文献 40被引用 20

一句话总结

本文提出基于规则的表示学习器（RRL），一种可扩展、可解释的分类器，通过一种名为梯度嫁接（Gradient Grafting）的新颖训练方法，端到端地学习离散、非模糊的规则，从而实现对离散模型结构的有效反向传播。RRL 在小型和大型数据集上均达到最先进性能，同时通过学习到的逻辑规则和改进的逻辑激活函数实现连续特征离散化，保持了高水平的模型可解释性。

ABSTRACT

Rule-based models, e.g., decision trees, are widely used in scenarios demanding high model interpretability for their transparent inner structures and good model expressivity. However, rule-based models are hard to optimize, especially on large data sets, due to their discrete parameters and structures. Ensemble methods and fuzzy/soft rules are commonly used to improve performance, but they sacrifice the model interpretability. To obtain both good scalability and interpretability, we propose a new classifier, named Rule-based Representation Learner (RRL), that automatically learns interpretable non-fuzzy rules for data representation and classification. To train the non-differentiable RRL effectively, we project it to a continuous space and propose a novel training method, called Gradient Grafting, that can directly optimize the discrete model using gradient descent. An improved design of logical activation functions is also devised to increase the scalability of RRL and enable it to discretize the continuous features end-to-end. Exhaustive experiments on nine small and four large data sets show that RRL outperforms the competitive interpretable approaches and can be easily adjusted to obtain a trade-off between classification accuracy and model complexity for different scenarios. Our code is available at: https://github.com/12wang3/rrl.

研究动机与目标

• 解决大规模数据中基于规则模型的可扩展性与可解释性之间的权衡问题。
• 实现对不可微分离散规则模型的有效梯度优化训练。
• 设计改进的逻辑激活函数，以支持连续特征的端到端离散化。
• 开发一种分层规则模型，支持灵活的规则表示与规则重要性评估。
• 在小型和大型数据集上验证 RRL 的性能与可解释性，证明其在不同复杂度-准确率权衡下的适应能力。

提出的方法

• 提出基于规则的表示学习器（RRL），一种分层模型，可学习以合取范式和析取范式表示的可解释规则，用于数据表征与分类。
• 引入梯度嫁接（Gradient Grafting），一种新颖的训练方法，通过利用连续与离散参数点的梯度信息，实现对离散 RRL 模型的直接梯度下降优化。
• 设计改进的逻辑激活函数，提升可扩展性，并通过定制的二值化层实现连续特征的端到端离散化。
• 采用具有可学习规则权重的线性层，评估规则重要性并支持模型可解释性。
• 使用 L2 正则化控制模型复杂度，通过调整正则化系数 λ，允许用户根据应用需求优先考虑可解释性（高 λ）或准确性（低 λ）。
• 将模型应用于结构化表格数据，并在九个小型和四个大型数据集上评估性能。

实验结果

研究问题

• RQ1 基于规则的模型是否能在大规模数据集上同时实现高可扩展性与高可解释性？
• RQ2 梯度优化是否能有效应用于不可微分的离散规则模型？
• RQ3 改进的逻辑激活函数是否能以可微方式实现连续特征的端到端离散化？
• RQ4 在不同规模的数据上，RRL 与现有可解释模型相比，在准确率与可解释性方面表现如何？
• RQ5 RRL 学习到的规则是否具有实际可解释性，并可用于指导模型理解与决策？

主要发现

• RRL 在小型和大型数据集上的分类准确率均优于竞争性可解释模型，表现出强大的泛化能力。
• 梯度嫁接在所有评估数据集上均实现比 STE、ProxQuant 和 RB 更快且更稳定的收敛，尤其在其他方法无法收敛的情况下表现更优。
• 改进的逻辑激活函数显著提升可扩展性，使 RRL 成功训练大型数据集（如 activity），而原始函数则失败。
• 在稀疏的 facebook 数据集上，即使原始激活函数也表现良好，表明其在低密度特征空间中的鲁棒性。
• 线性层中规则权重的分布显示，高权重规则具有可解释性且可操作，例如识别出中年、已婚且余额较低的客户更可能订阅定期存款。
• 通过 L2 正则化（λ）可控制模型复杂度，使用户可根据需求优先考虑可解释性（高 λ）或准确性（低 λ）。