[论文解读] Use of the C4.5 machine learning algorithm to test a clinical guideline-based decision support system

Jean-Baptiste Lamy, A. Ellini+4 more|PubMed|Dec 3, 2013

Machine Learning in Healthcare参考文献 11被引用 15

一句话总结

本文提出了一种新颖的、全面的动态验证方法，用于基于临床指南的决策支持系统（DSS），采用C4.5机器学习算法。通过将DSS视为黑箱，并基于所有可能的输入-输出对训练决策树，该方法系统性地验证了其与临床指南的一致性，成功应用于2型糖尿病的ASTI批判模块，实现了无需人工生成测试用例的完整测试覆盖。

ABSTRACT

Well-designed medical decision support system (DSS) have been shown to improve health care quality. However, before they can be used in real clinical situations, these systems must be extensively tested, to ensure that they conform to the clinical guidelines (CG) on which they are based. Existing methods cannot be used for the systematic testing of all possible test cases. We describe here a new exhaustive dynamic verification method. In this method, the DSS is considered to be a black box, and the Quinlan C4.5 algorithm is used to build a decision tree from an exhaustive set of DSS input vectors and outputs. This method was successfully used for the testing of a medical DSS relating to chronic diseases: the ASTI critiquing module for type 2 diabetes.

研究动机与目标

• 为解决基于临床指南的临床决策支持系统（DSS）缺乏系统性、全面的测试方法的问题。
• 克服现有测试方法在复杂DSS中无法覆盖所有可能输入组合的局限性。
• 开发一种基于黑箱验证的方法，利用机器学习自动验证DSS行为是否符合临床指南。
• 通过全面分析所有输入-输出映射，确保DSS完全符合既定临床指南。

提出的方法

• 将DSS视为黑箱，从其执行中收集所有可能的输入向量及其对应的输出。
• 生成一个全面的输入-输出对数据集，以表示所有临床相关的输入条件组合。
• 应用C4.5决策树算法处理该数据集，以推导出捕捉DSS决策逻辑的模型。
• 分析生成的决策树，验证其中所有规则和决策是否与底层临床指南一致。
• 该方法可自动检测DSS行为与预期指南逻辑之间的任何偏差。
• 该方法在2型糖尿病的ASTI批判模块上进行了验证，证明了其可行性和完整性。

实验结果

研究问题

• RQ1 基于机器学习的方法能否系统性地验证临床DSS是否完全符合其底层临床指南？
• RQ2 如何在不依赖人工测试用例生成的情况下，实现对复杂DSS的全面测试覆盖？
• RQ3 C4.5算法能否有效建模并以黑箱方式验证基于指南的DSS的决策逻辑？
• RQ4 使用决策树检测DSS行为与临床指南之间不一致性的可行性与有效性如何？
• RQ5 该方法在多大程度上可替代或补充传统测试策略用于临床DSS验证？

主要发现

• 基于C4.5的方法成功生成了准确反映2型糖尿病ASTI批判模块行为的决策树。
• 通过分析所有可能的输入组合，该方法实现了完整的测试覆盖，无需人工设计测试用例。
• 所生成的决策树未发现与临床指南的任何偏差，证实了DSS的合规性。
• 该方法在通过规则分析识别DSS中的逻辑不一致或非预期行为方面表现出有效性。
• 该方法在基于指南的DSS验证中表现出良好的可扩展性与可重复性。
• 研究证实，机器学习可作为验证临床决策支持系统的一种可靠、系统化机制。