[论文解读] REx: An Efficient Rule Generator

S. M. Kamruzzaman|arXiv (Cornell University)|Sep 25, 2010

Data Mining Algorithms and Applications参考文献 12被引用 3

一句话总结

REx 是一种递归的、基于规则的算法，通过利用一阶数据信息识别类别区分的最小充分条件，从训练好的人工神经网络（ANNs）中提取简洁、可解释的分类规则。它不依赖权重，生成完美且顺序无关的规则，在乳腺癌和鸢尾花等基准数据集上实现了与原始数据不一致性水平相当的误差率，表现出高准确率和良好的泛化能力。

ABSTRACT

This paper describes an efficient algorithm REx for generating symbolic rules from artificial neural network (ANN). Classification rules are sought in many areas from automatic knowledge acquisition to data mining and ANN rule extraction. This is because classification rules possess some attractive features. They are explicit, understandable and verifiable by domain experts, and can be modified, extended and passed on as modular knowledge. REx exploits the first order information in the data and finds shortest sufficient conditions for a rule of a class that can differentiate it from patterns of other classes. It can generate concise and perfect rules in the sense that the error rate of the rules is not worse than the inconsistency rate found in the original data. An important feature of rule extraction algorithm, REx, is its recursive nature. They are concise, comprehensible, order insensitive and do not involve any weight values. Extensive experimental studies on several benchmark classification problems, such as breast cancer, iris, season, and golf-playing, demonstrate the effectiveness of the proposed approach with good generalization ability.

研究动机与目标

• 开发一种从训练好的人工神经网络中高效提取规则的方法，生成可解释且可验证的分类规则。
• 生成简洁、顺序无关且不依赖网络权重值的规则。
• 确保提取的规则误差率不低于原始训练数据中存在的不一致性水平。
• 提高由 ANN 衍生的知识的可解释性和模块化程度，以供领域专家使用。
• 在多种不同的基准分类问题中展示强大的泛化性能。

提出的方法

• REx 通过利用一阶信息递归探索输入空间，识别区分目标类别与其他类别所需的最小充分条件。
• 通过识别能够正确分类某一类别实例的最短特征条件集合来构建规则。
• 该算法具有顺序无关性，即规则质量不依赖于特征评估的顺序。
• 它避免依赖权重值，转而关注数据中的逻辑和结构模式。
• 规则生成过程由数据的一致性引导，确保提取的规则是完美的（即误差率与数据不一致性相匹配）。
• 该方法迭代应用于每个类别，生成一组非冗余、易理解的规则。

实验结果

研究问题

• RQ1 规则提取算法能否在不依赖权重值的情况下，从训练好的 ANNs 中生成简洁、可解释的规则？
• RQ2 递归的一阶方法在识别类别区分的最小充分条件方面有多高效？
• RQ3 所提取的规则集在多大程度上保持了原始数据的误差率，从而确保规则的完美性？
• RQ4 在不同基准分类问题中，规则集的泛化性能如何？
• RQ5 能否在保持准确率和可解释性的同时，使规则提取过程实现顺序无关？

主要发现

• REx 在多个基准数据集（包括乳腺癌、鸢尾花、季节和高尔夫球）上成功生成了简洁且完美的分类规则。
• 提取规则的误差率与原始训练数据的不一致性水平完全匹配，证实了规则的完美性。
• 该算法在未见数据上表现出强大的泛化能力，显示出良好的鲁棒性。
• 由于规则具有明确且逻辑清晰的结构，领域专家可轻松理解、模块化处理并验证这些规则。
• REx 的递归特性使其能够高效探索特征空间，且无需依赖权重值。
• 该方法在真实世界分类问题中表现出高效且可扩展，计算开销极低。