[论文解读] Silas: High Performance, Explainable and Verifiable Machine Learning

Hadrien Bride, Zhé Hóu+3 more|arXiv (Cornell University)|Oct 3, 2019

Explainable Artificial Intelligence (XAI)参考文献 25被引用 5

一句话总结

Silas 是一个高性能、可解释且可验证的机器学习系统，基于在逻辑语言中形式化的集成决策树，以实现自动化推理。它在训练速度上比 H2O 和 Ranger 快 3.6 倍，内存使用量低 5 倍，达到 SOTA 性能，同时提供形式化验证、通过构造保证正确性的学习，以及模型和预测级别的解释。

ABSTRACT

This paper introduces a new classification tool named Silas, which is built to provide a more transparent and dependable data analytics service. A focus of Silas is on providing a formal foundation of decision trees in order to support logical analysis and verification of learned prediction models. This paper describes the distinct features of Silas: The Model Audit module formally verifies the prediction model against user specifications, the Enforcement Learning module trains prediction models that are guaranteed correct, the Model Insight and Prediction Insight modules reason about the prediction model and explain the decision-making of predictions. We also discuss implementation details ranging from programming paradigm to memory management that help achieve high-performance computation.

研究动机与目标

• 通过构建一个透明、可靠且可形式化验证的分类系统，解决关键领域中黑箱机器学习的局限性。
• 通过在基于逻辑的语言中形式化集成决策树，弥合高预测性能与可解释性之间的差距，以实现自动化推理。
• 通过形式化验证模型是否符合用户规格，确保通过构造保证正确性，从而在高风险应用中实现安全性。
• 通过提供全局模型洞察和实例级预测解释，增强用户信任和模型可审计性。
• 通过数据导向的纯函数式 C++ 实现，优化内存和并行处理，实现高计算效率。

提出的方法

• Silas 使用基于逻辑的形式化方法对决策树进行建模，以支持预测模型的自动化推理和形式化验证。
• 它在 C++ 中采用纯函数式编程范式，并结合奇异递归模板模式（CRTP），以实现高效、无副作用的函数组合和线程安全。
• 该系统采用数据导向设计，以最大化数据局部性，提升缓存效率，并支持安全的向量化并行处理。
• 它使用基于列的内存存储结构，以减少内存占用，并提升大规模表格数据上的性能表现。
• 模型审计模块通过自动化定理证明，正式验证模型行为是否符合用户指定的逻辑约束。
• 强制学习模块通过将用户规格直接集成到训练过程中，生成通过构造保证正确的模型。

实验结果

研究问题

• RQ1 是否可以将集成决策树在逻辑语言中进行形式化，以实现自动化验证和推理？
• RQ2 在一个支持形式化验证和可解释性的系统中，如何实现高性能的机器学习？
• RQ3 纯函数式、数据导向的 C++ 实现能在多大程度上超越现有工具在速度和内存效率方面的表现？
• RQ4 是否可以将形式化验证和可解释性集成到生产级机器学习系统中，而不会牺牲预测准确性？
• RQ5 诸如内存布局和编程范式等实现选择，如何影响机器学习系统中的性能和正确性？

主要发现

• 在 1000 万架次航班数据集上，Silas 第二版的训练速度是 H2O 的 3.6 倍，Ranger 的 6.1 倍，且内存使用显著降低。
• 在大规模数据集上，Silas 的内存使用量仅为 Ranger 的 1/5，H2O 的 1/3，1000 万架次航班数据集的峰值内存占用仅为 4.3GB。
• 第二版在 1000 万架次航班数据集上保持了具有竞争力的预测性能，AUC-ROC 达到 0.793，与当前 SOTA 工具相当。
• 从面向对象设计转向纯函数式、数据导向设计后，相比旧版本，内存使用量降低了 80%，且在所有基准测试中性能均得到提升。
• 通过模型审计模块进行形式化验证，可为大型预测模型提供强有力的正确性保障，这在标准黑箱系统中难以实现。
• 预测洞察模块成功通过识别并关联关键输入特征与模型决策，对单个预测进行解释，显著提升了透明度。