[论文解读] OLIVES Dataset: Ophthalmic Labels for Investigating Visual Eye Semantics

Mohit Prabhushankar, Kiran Kokilepersaud+4 more|arXiv (Cornell University)|Jun 9, 2022

Retinal Imaging and AnalysisMedicine被引用 17

一句话总结

OLIVES数据集引入了一个全面的、多模态的眼科数据集，结合了近红外眼底图像、OCT扫描、临床标签、生物标志物注释、疾病诊断（DR/DME）以及来自96名患者超过2年的纵向治疗数据。该数据集支持多模态学习、生物标志物解释和时序治疗建模方面的创新研究，是首个在所有关键眼科数据模态上提供结构化、精心整理标签的数据集，适用于临床和机器学习研究。

ABSTRACT

The webpage associated with this dataset can be found here. Clinical diagnosis of the eye is performed over multifarious data modalities including scalar clinical labels, vectorized biomarkers, two-dimensional fundus images, and three-dimensional Optical Coherence Tomography (OCT) scans. While the clinical labels, fundus images and OCT scans are instrumental measurements, the vectorized biomarkers are interpreted attributes from the other measurements. Clinical practitioners use all these data modalities for diagnosing and treating eye diseases like Diabetic Retinopathy (DR) or Diabetic Macular Edema (DME). Enabling usage of machine learning algorithms within the ophthalmic medical domain requires research into the relationships and interactions between these relevant data modalities. Existing datasets are limited in that: (i) they view the problem as disease prediction without assessing biomarkers, and (ii) they do not consider the explicit relationship among all four data modalities over the treatment period. In this paper, we introduce the Ophthalmic Labels for Investigating Visual Eye Semantics (OLIVES) dataset that addresses the above limitations. This is the first OCT and fundus dataset that includes clinical labels, biomarker labels, and time-series patient treatment information from associated clinical trials. The dataset consists of $1268$ fundus eye images each with 49 OCT scans, and 16 biomarkers, along with 3 clinical labels and a disease diagnosis of DR or DME. In total, there are 96 eyes' data averaged over a period of at least two years with each eye treated for an average of 66 weeks and 7 injections. OLIVES dataset has advantages in other fields of machine learning research including self-supervised learning as it provides alternate augmentation schemes that are medically grounded.

研究动机与目标

• 为解决缺乏整合性、多模态眼科数据集的问题，这些数据集能够将临床、影像、生物标志物和治疗数据在时间维度上关联起来。
• 通过在眼底图像、OCT扫描和时序治疗记录中提供结构化、精心整理的标签，支持眼科领域整体性的机器学习研究。
• 支持对生物标志物解释及其与疾病状态和治疗结局关系的研究。
• 促进自监督学习和多模态学习模型的发展，用于视觉眼科学语义理解与疾病进展预测。

提出的方法

• 该数据集源自2013年至2021年在德克萨斯州视网膜顾问诊所进行的两项前瞻性随机临床试验（PRIME和TREX-DME）。
• 包含1268张近红外眼底图像，每只眼至少49次OCT扫描，总计78,185张图像，覆盖96只眼。
• 临床标签（如BCVA、患者ID）和疾病诊断（DR或DME）均从去标识化的电子病历中提取。
• 生物标志物（如视网膜内积液、囊样改变）由经验丰富的阅片员通过开放仲裁方式回顾性标注。
• 数据集包含时序治疗数据，每位患者平均接受7次注射，治疗周期长达66周。
• 所有数据均经过结构化与整理，以支持多模态、时序性及基于生物标志物的机器学习研究。

实验结果

研究问题

• RQ1 多模态学习模型如何有效整合临床标签、生物标志物和影像数据（眼底图像与OCT）以提升眼科诊断性能？
• RQ2 在DME和DR进展过程中，长期治疗模式与生物标志物变化之间存在何种关系？
• RQ3 从OCT扫描中提取的生物标志物随时间推移如何与临床结局和疾病严重程度相关联？
• RQ4 自监督学习方法能否利用OCT扫描和治疗史的时间结构，以改善眼科影像中的表征学习？
• RQ5 当同时整合图像数据与生物标志物注释时，模型预测性能的提升程度如何？

主要发现

• OLIVES数据集包含96只眼，共78,185张图像，每只眼至少包含49次OCT扫描，每张扫描包含16种不同的生物标志物。
• 数据集包含4个临床标签（如BCVA）和DR或DME的疾病诊断标签，纵向治疗数据平均持续66周，每位患者平均接受7次注射。
• 生物标志物注释通过经验丰富的阅片员进行开放仲裁验证，确保了高可靠性与语义一致性。
• 该数据集支持对整合图像数据、生物标志物和时序治疗模式的多模态模型进行基准测试。
• OLIVES支持自监督学习、生物标志物解释和治疗预测等新兴研究方向，填补了现有眼科数据集中的一项关键空白。
• 该数据集是首个提供统一、精心整理且结构化的资源，整合了所有关键眼科数据模态，用于纵向临床研究。