[论文解读] Responsible AI in Healthcare

Federico Cabitza, Davide Ciucci+2 more|arXiv (Cornell University)|Feb 19, 2022

Misinformation and Its Impacts被引用 4

一句话总结

本文通过解决医疗数据中的不确定性以及在线健康信息的失序问题，提出了一套负责任的医疗人工智能框架。该框架引入了不确定性感知的机器学习模型和可解释的多准则决策系统，以提升临床决策支持中的透明度、公平性和可信度。

ABSTRACT

This article discusses open problems, implemented solutions, and future research in the area of responsible AI in healthcare. In particular, we illustrate two main research themes related to the work of two laboratories within the Department of Informatics, Systems, and Communication at the University of Milano-Bicocca. The problems addressed concern, in particular, {uncertainty in medical data and machine advice}, and the problem of online health information disorder.

研究动机与目标

• 解决医疗数据中常见的生物、分析及前后处理变异带来的不确定性问题，这些因素在标准机器学习流程中常被忽视。
• 开发透明、可解释的人工智能系统，以支持医疗领域的人类决策，确保问责制并减少偏见。
• 通过渐进式、非二元化的评估方式衡量信息真实性，而非采用僵化的过滤机制，来应对在线健康信息失序问题。
• 通过基于多准则决策（MCDM）的模型驱动、可解释的评估框架，提升健康信息检索的可靠性。
• 通过与临床专家合作，将医学领域知识整合到混合式系统中，该系统部分依赖模型、部分依赖数据，以确保临床相关性与伦理稳健性。

提出的方法

• 设计并实现新颖的机器学习算法，明确建模并缓解临床数据中来自生物、分析及前后处理来源的不确定性。
• 利用可解释人工智能技术，确保模型输出的可追溯性与可解释性，支持人工监督与决策自主性。
• 开发多准则决策（MCDM）框架，通过连续性指标对健康信息的真实性进行排序，替代传统的‘真/假’或‘可信/虚假信息’二元分类。
• 构建标注数据集与评估策略，用于健康信息检索，通过参与CLEF eHealth及其他基准测试活动进行验证。
• 开发开源工具（如 scikit-weak、uncertainpy）用于不确定性管理，以及（如 health-misinformation GitHub 仓库）用于虚假信息检测，以支持可复现性与社区使用。
• 通过与临床医生合作，将医学领域知识整合到人工智能系统中，确保模型输出反映临床现实与伦理标准。

实验结果

研究问题

• RQ1 如何使机器学习系统对临床数据中来自生物、分析及前后处理变异的不确定性具备鲁棒性？
• RQ2 可解释的多准则决策模型在不依赖二元过滤的前提下，如何在评估在线健康信息真实性方面发挥作用？
• RQ3 在虚假信息泛滥的背景下，人工智能系统应如何设计以保护用户自主性，避免对合法健康内容的过度审查？
• RQ4 混合式、模型驱动与数据驱动相结合的方法在提升医疗人工智能决策支持的透明度与临床相关性方面有哪些优势？
• RQ5 如何建立标准化的评估框架，以确保人工智能系统在健康信息检索中的公平性、可复现性与可审计性？

主要发现

• 所提出的不确定性感知机器学习模型有效降低了数据变异的影响，提升了临床预测的可靠性。
• 渐进式、非二元化的信息真实性评估方式在保护合法健康内容访问的同时，降低了虚假信息风险，表现优于二元分类。
• 将MCDM技术整合到健康信息评估中，实现了可解释、可追溯且可审计的决策过程。
• 开源工具如 uncertainpy 和 scikit-weak 为临床数据中的不确定性建模提供了实用实现，支持可复现性。
• 参与 CLEF eHealth 及相关研讨会，证明了针对消费者健康搜索与虚假信息检测的标准化评估协议具有可行性与有效性。
• 融合知识的混合式人工智能模型展现出更高的透明度，并与临床推理更一致，从而增强了决策支持系统中的信任度与问责性。