[论文解读] Towards Trustworthy Automatic Diagnosis Systems by Emulating Doctors' Reasoning with Deep Reinforcement Learning

Arsène Fansi Tchango, Rishab Goel+4 more|arXiv (Cornell University)|Oct 13, 2022

Machine Learning in Healthcare被引用 9

一句话总结

本文提出了一种深度强化学习框架，通过优先考虑严重疾病并生成动态鉴别诊断，模拟医生在自动诊断系统中的临床推理过程。该模型通过显式建模探索-确认动态过程和严重程度感知的提问策略，提升了交互质量和可信度，在病理预测准确率方面表现具有竞争力，同时相比以往方法显著增强了可解释性和临床合理性。

ABSTRACT

The automation of the medical evidence acquisition and diagnosis process has recently attracted increasing attention in order to reduce the workload of doctors and democratize access to medical care. However, most works proposed in the machine learning literature focus solely on improving the prediction accuracy of a patient's pathology. We argue that this objective is insufficient to ensure doctors' acceptability of such systems. In their initial interaction with patients, doctors do not only focus on identifying the pathology a patient is suffering from; they instead generate a differential diagnosis (in the form of a short list of plausible diseases) because the medical evidence collected from patients is often insufficient to establish a final diagnosis. Moreover, doctors explicitly explore severe pathologies before potentially ruling them out from the differential, especially in acute care settings. Finally, for doctors to trust a system's recommendations, they need to understand how the gathered evidences led to the predicted diseases. In particular, interactions between a system and a patient need to emulate the reasoning of doctors. We therefore propose to model the evidence acquisition and automatic diagnosis tasks using a deep reinforcement learning framework that considers three essential aspects of a doctor's reasoning, namely generating a differential diagnosis using an exploration-confirmation approach while prioritizing severe pathologies. We propose metrics for evaluating interaction quality based on these three aspects. We show that our approach performs better than existing models while maintaining competitive pathology prediction accuracy.

研究动机与目标

• 解决现有自动诊断系统仅追求最大化预测准确率而缺乏临床合理性和可解释性的问题。
• 通过模拟医生使用鉴别诊断和优先处理严重病理的策略，更真实地建模病史采集过程。
• 通过确保交互过程透明且可追溯，明确从证据到诊断的推理路径，提升系统的可信度。
• 开发新的评估指标，基于临床推理原则评估交互质量，而不仅依赖最终预测准确率。
• 证明强化学习智能体能够生成高质量、类人诊断交互，真实反映现实世界中的医疗决策过程。

提出的方法

• 该系统采用深度强化学习框架，模拟诊断智能体与患者的交互过程，其中智能体选择问题以收集证据。
• 智能体在整个交互过程中持续维护并更新动态鉴别诊断列表，反映不断演化的临床推理过程。
• 动作空间包括问题选择和鉴别诊断生成，奖励函数被设计为优先排除严重疾病。
• 奖励函数包含三个组成部分：最终诊断的准确性、严重病理的优先级排序，以及鉴别诊断过程的一致性。
• 模型采用策略梯度方法进行端到端训练，状态表示编码了患者的症状、危险因素以及当前的鉴别诊断。
• 该框架通过允许用户追溯每条证据如何影响动态鉴别诊断的演变，支持可解释性。

实验结果

研究问题

• RQ1 强化学习智能体能否生成反映人类医生所用探索-确认框架的诊断交互？
• RQ2 在提问过程中优先考虑严重病理是否能提升诊断交互的临床可信度和质量？
• RQ3 模型能否维持一个随新证据有意义演化的动态鉴别诊断列表，而非仅预测单一最终病理？
• RQ4 所提出的交互质量评估指标与临床合理性及可解释性之间的相关性如何？
• RQ5 该模型是否能在保持竞争性病理预测准确率的同时，提升诊断推理过程的质量？

主要发现

• 所提方法生成的诊断交互比现有模型更具临床合理性和可解释性，体现在鉴别诊断列表的动态演化过程中。
• 该模型在提问策略中成功优先处理严重病理，始终在交互早期探索高风险疾病。
• 系统实现了具有竞争力的病理预测准确率，最终真实鉴别诊断为 ['急性畸变反应（严重）': 0.627, '肌无力': 0.373]，表明与临床结果高度一致。
• 采用严重程度感知的奖励函数可带来更高效且更安全的诊断轨迹，尤其在急症护理场景中表现显著。
• 所提出的评估指标有效捕捉了标准准确率基准所忽略的临床推理关键方面。
• 该模型在交互过程中持续维护并优化鉴别诊断的能力，显著优于仅预测单一病理的模型。