[论文解读] TreeMAN: Tree-enhanced Multimodal Attention Network for ICD Coding

Zichen Liu, Xuyuan Liu+4 more|arXiv (Cornell University)|May 29, 2023

Medical Coding and Health Information被引用 5

一句话总结

TreeMAN 提出了一种树增强的多模态注意力网络，通过学习基于决策树的特征，将文本临床记录与电子健康记录（EHR）中的结构化医疗数据融合，以提高 ICD 编码的准确性。通过注意力机制将这些基于树的特征与文本表示进行整合，TreeMAN 在两个 MIMIC 数据集上实现了最先进（SOTA）的性能，在多标签 ICD 编码任务中优于先前的方法。

ABSTRACT

ICD coding is designed to assign the disease codes to electronic health records (EHRs) upon discharge, which is crucial for billing and clinical statistics. In an attempt to improve the effectiveness and efficiency of manual coding, many methods have been proposed to automatically predict ICD codes from clinical notes. However, most previous works ignore the decisive information contained in structured medical data in EHRs, which is hard to be captured from the noisy clinical notes. In this paper, we propose a Tree-enhanced Multimodal Attention Network (TreeMAN) to fuse tabular features and textual features into multimodal representations by enhancing the text representations with tree-based features via the attention mechanism. Tree-based features are constructed according to decision trees learned from structured multimodal medical data, which capture the decisive information about ICD coding. We can apply the same multi-label classifier from previous text models to the multimodal representations to predict ICD codes. Experiments on two MIMIC datasets show that our method outperforms prior state-of-the-art ICD coding approaches. The code is available at https://github.com/liu-zichen/TreeMAN.

研究动机与目标

• 为解决现有 ICD 编码模型忽略 EHR 中结构化医疗数据的局限性，这些数据包含关键的诊断信息。
• 通过统一的多模态表示框架，整合表格数据与文本特征，提升自动化 ICD 编码的鲁棒性与准确性。
• 开发一种方法，自动从结构化 EHR 数据中学习信息丰富、基于决策树的特征，而无需依赖人工特征工程或医学知识。
• 实现基于注意力的文本与树基特征融合，以突出多模态信号，用于多标签 ICD 代码预测。
• 在真实世界的 ICD 编码基准上，证明结合临床记录与结构化 EHR 数据的多模态表征学习的有效性。

提出的方法

• TreeMAN 通过在结构化多模态 EHR 数据（如实验室检查结果、处方记录和生命体征）上训练决策树，构建基于树的特征，以提取关键的诊断模式。
• 利用学习得到的嵌入层将决策树的输出嵌入为向量表示，形成基于树的特征向量。
• 使用深度神经网络（如 BiLSTM 或基于 Transformer 的编码器）从临床记录中提取文本表示，以捕捉语义上下文。
• 注意力机制动态关注与每个文本表示相关的树基特征，实现多模态信号的自适应融合。
• 将融合后的多模态表示输入标准的多标签分类器，以同时预测多个 ICD 代码。
• 整个模型可端到端训练，联合优化文本编码、树特征嵌入、注意力权重以及多标签分类。

Figure 1: An example of automatic multimodal ICD coding. Model inputs include physiological data and medical records in addition to clinical text.

实验结果

研究问题

• RQ1 从结构化 EHR 数据中提取的基于树的特征能否提升自动化 ICD 编码模型的性能？
• RQ2 注意力机制在多标签 ICD 代码预测中，能否有效融合临床文本与结构化医疗数据？
• RQ3 与仅依赖文本的模型相比，集成基于决策树的特征是否能带来更优的表征学习效果？
• RQ4 TreeMAN 在基准 ICD 编码数据集上相对于最先进方法的表现如何？
• RQ5 基于树的特征在捕捉临床记录中模糊的细微差异（如不同类型的胰岛素）方面，其作用有多大？

主要发现

• TreeMAN 在 MIMIC-III 和 MIMIC-IV 两个数据集上均优于先前的最先进 ICD 编码模型，在多种评估指标上表现出更优的性能。
• 集成基于树的特征显著提升了代码预测的准确性，尤其在文本记录信息不足的罕见或模糊病症中表现突出。
• 注意力机制能有效识别并强调与每个 ICD 代码相关的树基特征，增强了模型的可解释性与表征质量。
• 与仅使用文本或简单特征拼接的基线模型相比，TreeMAN 在 F1-macro 和 F1-micro 指标上均表现更优。
• 该模型在处理来自 EHR 的异构数据类型（如数值型、类别型、时间序列）时表现出鲁棒性，且无需复杂预处理。
• 消融实验证实，基于树的特征对性能的贡献大于随机特征或非学习型特征工程，验证了方法设计的合理性。

Figure 2: An overview of our proposed multimodal ICD coding framework.