[论文解读] Optimize transfer learning for lung diseases in bronchoscopy using a new concept: sequential fine-tuning

Tao Tan, Zhang Li+16 more|arXiv (Cornell University)|Feb 10, 2018

COVID-19 diagnosis using AI参考文献 18被引用 10

一句话总结

本文提出一种新型的迁移学习策略——顺序微调（sequential fine-tuning），用于支气管镜检查中基于深度学习的计算机辅助诊断（CAD），以提升对肺部疾病（特别是正常、结核性（TB）和肺癌）的分类性能。通过逐步微调预训练DenseNet模型的各层，该方法在434例支气管镜检查病例的数据集上实现了82.0%的整体准确率和87%的癌症检测准确率，优于传统微调方法。

ABSTRACT

Bronchoscopy inspection as a follow-up procedure from the radiological imaging plays a key role in lung disease diagnosis and determining treatment plans for the patients. Doctors needs to make a decision whether to biopsy the patients timely when performing bronchoscopy. However, the doctors also needs to be very selective with biopsies as biopsies may cause uncontrollable bleeding of the lung tissue which is life-threaten. To help doctors to be more selective on biopsies and provide a second opinion on diagnosis, in this work, we propose a computer-aided diagnosis (CAD) system for lung diseases including cancers and tuberculosis (TB). The system is developed based on transfer learning. We propose a novel transfer learning method: sentential fine-tuning . Compared to traditional fine-tuning methods, our methods achieves the best performance. We obtained a overall accuracy of 77.0% a dataset of 81 normal cases, 76 tuberculosis cases and 277 lung cancer cases while the other traditional transfer learning methods achieve an accuracy of 73% and 68%. . The detection accuracy of our method for cancers, TB and normal cases are 87%, 54% and 91% respectively. This indicates that the CAD system has potential to improve lung disease diagnosis accuracy in bronchoscopy and it also might be used to be more selective with biopsies.

研究动机与目标

• 解决用于肺部疾病诊断的深度学习模型训练中支气管镜图像标注数据有限的挑战。
• 通过提高诊断准确率并实现对肺部异常更早、更具选择性的检测，减少不必要的活检。
• 开发一种CAD系统，辅助放射科医生和肺科医生在支气管镜检查中区分正常、结核性（TB）和肺癌病例。
• 通过引入一种新型微调策略，克服小样本数据集的局限性，提升模型的泛化能力和性能。

提出的方法

• 采用预训练的DenseNet模型作为支气管镜图像分类任务中的主干网络进行特征提取。
• 提出顺序微调：从网络顶层开始，逐步向下依次微调更深层的网络参数。
• 采用2折交叉验证，以确保在434例病例（81例正常，76例TB，277例癌症）的小样本数据集上性能估计的稳健性。
• 初始阶段仅微调全连接层，随后逐步将更多卷积层加入训练过程。
• 利用迁移学习将预训练特征适配至特定的支气管镜影像领域，同时最小化过拟合风险。
• 结合深度学习与领域专业知识，提升对结核和癌症病灶中细微视觉特征的判别能力。

实验结果

研究问题

• RQ1 与标准微调方法相比，顺序微调是否能提升支气管镜检查中肺部疾病的分类准确率？
• RQ2 该方法在临床支气管镜影像中典型的少量且类别不平衡的数据集上表现如何？
• RQ3 该CAD系统在正确识别正常和结核病例方面，能在多大程度上减少不必要的活检？
• RQ4 该系统在区分结核和肺癌这两种视觉上相似的疾病时，其诊断性能如何？

主要发现

• 所提出的顺序微调方法在434例支气管镜检查病例的数据集中实现了82.0%的整体准确率，优于传统微调方法（分别为73%和68%的准确率）。
• 癌症检测准确率达到87%，正常病例准确率为91%，结核病例准确率为54%，表明在恶性和良性病变上均有良好表现。
• 异常与正常病例的二分类任务AUC达到0.99，实现100%敏感度和65%特异度，意味着未遗漏任何异常病例。
• 系统正确识别了10%的结核病例，且未遗漏任何癌症病例，表明有潜力减少不必要的活检。
• 误分类主要源于较小的结核结节与恶性肿瘤外观相似，凸显了需要更大、更具多样性的训练数据。
• 该方法的渐进式微调策略在低数据环境下，相比微调全部层或仅全连接层，提供了更优的模型适应能力。