[论文解读] Supersparse Linear Integer Models for Predictive Scoring Systems

Berk Ustun, Stefano Tracà+1 more|arXiv (Cornell University)|Jun 25, 2013

Fuzzy Systems and Optimization参考文献 15被引用 9

一句话总结

本文提出超稀疏线性整数模型（SLIM），一种混合整数规划方法，可为二分类任务生成高度可解释、稀疏且系数为整数的评分系统。SLIM 通过 L0-范数优化稀疏性，通过 L1-范数优化系数可解释性，同时兼顾准确性，所生成的模型在准确率上与标准机器学习方法相当或更优，且保持人类可读性，适用于临床和政策应用。

ABSTRACT

We introduce Supersparse Linear Integer Models (SLIM) as a tool to create scoring systems for binary classification. We derive theoretical bounds on the true risk of SLIM scoring systems, and present experimental results to show that SLIM scoring systems are accurate, sparse, and interpretable classification models.

研究动机与目标

• 为医学和社会科学中可解释评分系统的正式、最优方法提供解决方案。
• 开发一种可生成稀疏、整数系数模型的方法，确保模型既准确又便于实践者使用。
• 克服现有方法（如 Lasso 和弹性网络）的局限性，这些方法不强制要求整数系数或最优稀疏性。
• 提供一个统一的混合整数规划（MIP）框架，通过单一公式平衡模型准确率、稀疏性和可解释性。
• 证明 SLIM 可生成与最先进机器学习算法相当准确率的模型，同时保持高度可解释性。

提出的方法

• SLIM 将混合整数规划（MIP）公式化为最小化训练误差、系数的 L0-范数（以实现稀疏性）和 L1-范数（以实现小整数系数）的组合。
• 该 MIP 使用二元变量 αi 表示误分类样本，βj 表示非零系数，连续变量 γj 表示系数绝对值。
• 约束条件强制执行逻辑关系：若预测错误则 αi = 1，若 λj ≠ 0 则 βj = 1，且 γj = |λj|。
• 系数 λj 被限制在有界整数集合 L 内，缺省值为 Λ = 100，也可选择性地限制为一位有效数字。
• 该公式使用大 M 法和 ε 约束来建模分类规则中的符号函数：ŷ = sign(xᵀλ)。
• 该方法使用 CPLEX 12.5 实现，可扩展至约 10,000 个样本和约 100 个特征的数据集。

实验结果

研究问题

• RQ1 正式的优化框架能否生成既高度准确又最大程度可解释的评分系统？
• RQ2 能否在避免贪婪特征选择和非整数系数的前提下，最优地生成整数系数、稀疏的线性模型？
• RQ3 SLIM 在准确率和稀疏性方面与逻辑回归、随机森林和 SVM 等标准机器学习模型相比如何？
• RQ4 SLIM 能否生成在医学和刑事司法等现实世界领域中实际可用的模型？
• RQ5 SLIM 模型的泛化性能可提供哪些理论保证？

主要发现

• 在六个 UCI 数据集和一个真实世界犯罪数据集上，SLIM 的测试误差率与最先进模型（如 SVM、随机森林和逻辑回归）相当或更优。
• 在 breastcancer 数据集上，SLIM 以仅 3 个非零系数达到 3.7% 的误差率，准确率与最佳模型相当，同时保持完全可解释性。
• 在 violentcrime 数据集上，SLIM 以仅 9 个非零系数达到 20.1% 的误差率，在稀疏性方面优于 C5.0 和 CART，同时保持了有竞争力的准确率。
• SLIM 为预测暴力犯罪生成了一个包含 3 个特征的评分系统，其整数系数为 {-10, 9, -9, -1}，便于临床或政策场景下的直接使用。
• 理论边界表明，在标准假设下，SLIM 模型的真实风险可由其经验风险紧密控制，具有高概率保证。
• 当特征为离散时，SLIM 模型可可视化为决策树，从而在政策和医疗场景中进一步增强可解释性。