[论文解读] The TCGA Meta-Dataset Clinical Benchmark

Mandana Samiei, Tobias Würfl+7 more|arXiv (Cornell University)|Oct 18, 2019

Radiomics and Machine Learning in Medical Imaging参考文献 18被引用 6

一句话总结

本文提出了TCGA元数据集，这是一个基于癌症基因组图谱（TCGA）的基准数据集，包含174项临床预测任务，利用基因表达数据（20,530个基因）以支持基因组学中的少样本多任务学习。在150个样本的划分上评估了逻辑回归、单层神经网络和三层MLP模型，结果显示MLP在所有任务上的平均准确率最高（71.19%），显著优于逻辑回归和多数类基线。

ABSTRACT

Machine learning is bringing a paradigm shift to healthcare by changing the process of disease diagnosis and prognosis in clinics and hospitals. This development equips doctors and medical staff with tools to evaluate their hypotheses and hence make more precise decisions. Although most current research in the literature seeks to develop techniques and methods for predicting one particular clinical outcome, this approach is far from the reality of clinical decision making in which you have to consider several factors simultaneously. In addition, it is difficult to follow the recent progress concretely as there is a lack of consistency in benchmark datasets and task definitions in the field of Genomics. To address the aforementioned issues, we provide a clinical Meta-Dataset derived from the publicly available data hub called The Cancer Genome Atlas Program (TCGA) that contains 174 tasks. We believe those tasks could be good proxy tasks to develop methods which can work on a few samples of gene expression data. Also, learning to predict multiple clinical variables using gene-expression data is an important task due to the variety of phenotypes in clinical problems and lack of samples for some of the rare variables. The defined tasks cover a wide range of clinical problems including predicting tumor tissue site, white cell count, histological type, family history of cancer, gender, and many others which we explain later in the paper. Each task represents an independent dataset. We use regression and neural network baselines for all the tasks using only 150 samples and compare their performance.

研究动机与目标

• 为解决当前缺乏一致且公开可用的基准数据集以评估基因组学中机器学习模型的问题，特别是针对临床预测任务。
• 提供一个标准化、可复现的框架，用于使用基因表达数据在多种临床结果上评估模型。
• 通过利用相互关联的临床任务，实现少样本多任务学习，从而在每项任务样本量较小的情况下提升模型泛化能力。
• 为广泛范围的泛癌临床预测任务建立监督模型的基线性能。

提出的方法

• TCGA元数据集包含174个独立的分类任务，每个任务由一种临床表型（如性别、肿瘤部位、生存状态）和特定癌症类型（如BRCA、KIRP）定义。
• 每个任务使用来自20,530个基因的基因表达数据作为输入，每个任务的样本被划分为50个训练样本和100个测试样本。
• 研究采用Torchmeta库实现元数据加载器，以高效地采样任务用于训练和评估。
• 评估了三种基线模型：多数类分类器（dummy）、逻辑回归（带Softmax的单层神经网络）以及使用ReLU激活函数和Adam优化的三层MLP。
• 对MLP进行了超参数调优，采用10折交叉验证设置，并使用0到9的随机种子以确保结果的稳健性。
• 通过在所有任务上计算准确率，并对10次试验的结果取平均，以减少方差，评估模型性能。

实验结果

研究问题

• RQ1 能否通过TCGA中统一的临床预测任务基准提升基因组学机器学习研究的可复现性和可比性？
• RQ2 不同机器学习模型在使用基因表达数据进行小样本临床预测任务时的表现如何？
• RQ3 在相互关联的临床表型上进行多任务学习是否相比单任务基线能提升模型的泛化能力？
• RQ4 标准监督模型（如逻辑回归、MLP）在174项临床任务的多样化集合中，于少样本设置下的性能上限是什么？

主要发现

• 三层MLP在全部174项任务上的平均准确率达到最高，为71.19%，显著优于逻辑回归（68.78%）和多数类基线（66.18%）。
• 逻辑回归的表现优于多数类基线，但在处理临床数据中复杂的非线性交互作用时仍被MLP超越。
• MLP的准确率标准差最低（14.62），表明其在多样化临床任务中表现更一致，优于其他基线模型。
• MLP在建模基因表达特征与临床结果之间复杂非线性交互作用方面展现出更优的能力。
• 多数类基线的准确率为66.18%，但标准差较高（16.87），表明其在不同任务上的性能波动较大。
• 研究结果为未来工作建立了强有力的基线，特别是在元学习领域，通过任务间共享归纳偏置可进一步提升少样本泛化能力。