[论文解读] Plaque Classification in Coronary Arteries from IVOCT Images Using Convolutional Neural Networks and Transfer Learning

Nils Gessert, Markus Heyder+3 more|arXiv (Cornell University)|Apr 11, 2018

Coronary Interventions and Diagnostics参考文献 3被引用 10

一句话总结

本研究提出了一种基于深度学习的自动方法，用于在冠状动脉的血管内光学相干断层扫描（IVOCT）图像中进行斑块分类。通过在笛卡尔坐标表示的IVOCT B-扫描图像上应用预训练的ResNet和Inception模型进行迁移学习，该方法实现了88.0%的准确率，灵敏度为90.0%，特异性为85.5%，优于在极坐标表示上训练的模型以及未使用预训练的模型。

ABSTRACT

Advanced atherosclerosis in the coronary arteries is one of the leading causes of deaths worldwide while being preventable and treatable. In order to image atherosclerotic lesions (plaque), intravascular optical coherence tomography (IVOCT) can be used. The technique provides high-resolution images of arterial walls which allows for early plaque detection by experts. Due to the vast amount of IVOCT images acquired in clinical routines, automatic plaque detection has been addressed. For example, attenuation profiles in single A-Scans of IVOCT images are examined to detect plaque. We address automatic plaque classification from entire IVOCT images, the cross-sectional view of the artery, using deep feature learning. In this way, we take context between A-Scans into account and we directly learn relevant features from the image source without the need for handcrafting features.

研究动机与目标

• 开发一种基于深度学习的自动化方法，用于在IVOCT图像中分类斑块是否存在。
• 通过从ImageNet迁移学习来应对标注医学影像数据有限的挑战。
• 评估图像表示方式（笛卡尔坐标 vs. 极坐标）对斑块分类模型性能的影响。
• 训练模型以在不依赖预分割的情况下对临床IVOCT数据中常见的伪影具有鲁棒性。
• 创建并发布一个全新的、由专家标注的IVOCT数据集，包含来自41名患者的2,868个标注的B-扫描图像。

提出的方法

• 构建了一个新的IVOCT数据集，包含来自41名活体患者的2,868个标注的B-扫描图像，采用专家确认的真实标签以判断是否存在斑块。
• 将IVOCT图像以笛卡尔坐标系和极坐标系两种方式表示，以评估图像几何结构对深度学习性能的影响。
• 通过在ImageNet上微调预训练的ResNet50、ResNet101、InceptionV3和Inception-ResNetV2模型，应用迁移学习进行IVOCT斑块分类。
• 在训练过程中应用数据增强技术，包括随机裁剪（270×270）、随机旋转（笛卡尔坐标）和水平翻转（极坐标）。
• 推理时仅使用中心裁剪，不进行增强，以确保评估的一致性。
• 在每个预训练模型的最后层替换为二分类头，输出两个类别，并应用Dropout（p=0.5）进行正则化。

实验结果

研究问题

• RQ1 从ImageNet进行迁移学习是否能提升在有限IVOCT数据集上的斑块分类性能？
• RQ2 在IVOCT斑块分类的深度特征学习中，笛卡尔图像表示是否比极坐标表示更有效？
• RQ3 当应用于IVOCT斑块分类时，不同深度神经网络架构（ResNet、Inception）的性能表现如何比较？
• RQ4 深度学习模型是否能在不依赖诸如血管腔分割或伪影去除等预处理步骤的情况下实现高准确率？
• RQ5 数据不平衡和图像伪影对斑块分类模型的鲁棒性和泛化能力有何影响？

主要发现

• 迁移学习显著提升了模型性能，最佳模型在ImageNet上微调后达到88.0%的准确率，90.0%的灵敏度和85.5%的特异性。
• 表现最佳的模型采用ResNet101架构，结合笛卡尔坐标表示的IVOCT图像，并在ImageNet上进行预训练。
• 所有模型中，笛卡尔图像表示均表现更优，相较于极坐标表示，准确率绝对提升5.2%（ResNet101为88.0% vs. 82.8%）。
• 未使用预训练时，最佳模型准确率为78.9%，表明在医疗数据有限的情况下，迁移学习对性能至关重要。
• 在有无预训练的设置下，ResNet101均优于其他架构，表明其更适合此任务。
• 本研究证明，深度学习模型能够从原始IVOCT图像中学习到鲁棒特征，即使存在伪影，也无需依赖复杂的预处理流程。