[论文解读] TabText: Language-Based Representations of Tabular Health Data for Predictive Modelling

Kimberly Villalobos Carballo, Liangyuan Na+5 more|arXiv (Cornell University)|Jun 21, 2022

Machine Learning in Healthcare被引用 6

一句话总结

TabText 引入了一种新颖的框架，通过微调临床语言模型将表格化健康数据转换为自然语言描述，从而在无需大量预处理的情况下实现上下文特征表示。该方法在九项医疗预测任务中达到最先进性能，当增强标准表格模型时，平均和最差情况下的 AUC 最高提升 6%。

ABSTRACT

Tabular medical records remain the most readily available data format for applying machine learning in healthcare. However, traditional data preprocessing ignores valuable contextual information in tables and requires substantial manual cleaning and harmonisation, creating a bottleneck for model development. We introduce TabText, a preprocessing and feature extraction method that leverages contextual information and streamlines the curation of tabular medical data. This method converts tables into contextual language and applies pretrained large language models (LLMs) to generate task-independent numerical representations. These fixed embeddings are then used as input for various predictive tasks. TabText was evaluated on nine inpatient flow prediction tasks (e.g., ICU admission, discharge, mortality) using electronic medical records across six hospitals from a US health system, and on nine publicly available datasets from the UCI Machine Learning Repository, covering tasks such as cancer diagnosis, recurrence, and survival. TabText models trained on unprocessed data from a single hospital (572,964 patient-days, Jan 2018-Dec 2020) achieved accurate performance (AUC 0.75-0.94) when tested prospectively on 265,917 patient-days from Jan 2021-Apr 2022, and generalised well to five additional hospitals not used for training. When augmenting preprocessed tabular records with these contextual embeddings, out-of-sample AUC improved by up to 4 additive percentage points in challenging tasks such as ICU transfer and breast cancer recurrence, while providing little to no benefit for already high-performing tasks. Findings were consistent across both private and public datasets.

研究动机与目标

• 解决传统表格数据处理方法忽略上下文元数据（如列标题和表格描述）的局限性。
• 通过利用大语言模型（LLMs）从表格结构中提取语义意义，减少劳动密集型的预处理工作。
• 评估基于语言的表格数据表示是否能提升医疗预测任务中的机器学习性能。
• 研究表格数据表示的最佳语言构建策略，包括缺失值处理和数值归一化方法。
• 证明在表格数据上微调临床 LLM 可生成优于标准预处理方法的特征嵌入。

提出的方法

• 将每个表格数据样本转换为结合列名、数值和上下文元数据（如表格描述、预测任务）的自然语言句子。
• 基于与均值和标准差相关的 z 分数阈值，将数值替换为描述性术语（如“正常”、“高”）。
• 省略缺失值的句子，并包含预测任务或表格用途等元数据以增强上下文信息。
• 使用掩码语言建模在构建的语言数据上微调 Clinical-Longformer LLM，以使其适应临床表格数据。
• 从微调后的 LLM 中提取 768 维的上下文嵌入，并将其用作梯度提升树模型的输入特征。
• 在 10 次训练-验证划分中，使用相同的模型架构和超参数设置，将 TabText 嵌入与标准表格预处理方法进行比较。

实验结果

研究问题

• RQ1 与标准预处理相比，将表格化健康数据转换为自然语言是否能提升下游机器学习性能？
• RQ2 构建表格数据语言表示的最佳方式是什么，包括缺失值处理、数值编码选择和元数据包含策略？
• RQ3 在表格数据上微调预训练的临床 LLM 是否能产生优于零样本或少样本使用方式的特征表示？
• RQ4 TabText 在多样化医疗预测任务中对平均性能和最差情况性能的提升程度如何？
• RQ5 包含上下文元数据（如表格描述、预测目标）在多大程度上影响模型性能？

主要发现

• TabText 实现了高性能且简单的机器学习基线，仅需极少的数据预处理，表明基于语言的表示可替代复杂的特征工程。
• 在九项医疗预测任务中，通过在标准表格数据中引入 TabText 嵌入，平均 AUC 最高提升 6%，最差情况 AUC 最高提升 6%。
• 最优的语言构建策略包括：将数值替换为描述性术语、省略缺失值条目、使用描述性语言，并包含任务特定或表格级别的元数据。
• 在九项分类任务中的八项上，对 Clinical-Longformer 模型在本地表格数据上进行微调略微提升了性能，证实了领域特定适配的优势。
• 该框架在所有九项任务中均持续优于标准表格建模方法，AUC 提升具有统计显著性，尤其在低资源或具有挑战性的案例中表现更优。
• 该方法具有鲁棒性和灵活性，无论底层表格数据结构或数据源异质性如何，均能实现一致的性能提升。