[论文解读] Universal Lesion Detection by Learning from Multiple Heterogeneously Labeled Datasets

Ke Yan, Jinzheng Cai+4 more|arXiv (Cornell University)|May 28, 2020

COVID-19 diagnosis using AI参考文献 44被引用 7

一句话总结

本文提出了一种多专家病灶检测器（MELD），利用异构且部分标注的数据集（如 DeepLesion、LUNA、LiTS 和 NIH-LN）实现通用病灶检测（ULD）。通过结合嵌入匹配以恢复缺失标注，并利用负样本区域挖掘从单类型检测器迁移知识，该方法在最先进方法的基础上将 ULD 的平均敏感度提升了 29%。

ABSTRACT

Lesion detection is an important problem within medical imaging analysis. Most previous work focuses on detecting and segmenting a specialized category of lesions (e.g., lung nodules). However, in clinical practice, radiologists are responsible for finding all possible types of anomalies. The task of universal lesion detection (ULD) was proposed to address this challenge by detecting a large variety of lesions from the whole body. There are multiple heterogeneously labeled datasets with varying label completeness: DeepLesion, the largest dataset of 32,735 annotated lesions of various types, but with even more missing annotation instances; and several fully-labeled single-type lesion datasets, such as LUNA for lung nodules and LiTS for liver tumors. In this work, we propose a novel framework to leverage all these datasets together to improve the performance of ULD. First, we learn a multi-head multi-task lesion detector using all datasets and generate lesion proposals on DeepLesion. Second, missing annotations in DeepLesion are retrieved by a new method of embedding matching that exploits clinical prior knowledge. Last, we discover suspicious but unannotated lesions using knowledge transfer from single-type lesion detectors. In this way, reliable positive and negative regions are obtained from partially-labeled and unlabeled images, which are effectively utilized to train ULD. To assess the clinically realistic protocol of 3D volumetric ULD, we fully annotated 1071 CT sub-volumes in DeepLesion. Our method outperforms the current state-of-the-art approach by 29% in the metric of average sensitivity.

研究动机与目标

• 解决临床放射学中通用病灶检测（ULD）的挑战，即放射科医生需在全身范围内识别多种病灶。
• 克服现有病灶检测模型仅聚焦于单一病灶类型所带来的低效与可扩展性差的问题。
• 利用标签完整性各异的异构数据集（如部分标注的 DeepLesion 和完全标注的 LUNA、LiTS、NIH-LN）以提升 ULD 性能。
• 开发一个统一框架，有效利用不完整且多类型标注，训练出鲁棒且可泛化的 ULD 模型。

提出的方法

• 通过在多个异构数据集上采用多任务学习，训练一个具有器官特异性头分支的多专家病灶检测器（MELD）。
• 在 DeepLesion 上生成病灶候选区域，MELD 作为多专家系统，其中每个头分支专门负责一种病灶类型或器官。
• 通过病灶嵌入应用缺失标注匹配（MAM），以匹配候选区域嵌入与已标注病灶，识别并检索未标注但真实的病灶。
• 通过负样本区域挖掘（NRM）将单类型病灶检测器的知识迁移，识别可疑但未标注的区域作为可靠的负样本。
• 利用恢复的正样本和负样本对 MELD 进行微调，以提升检测性能，同时避免引入虚假负样本信号。
• 采用统一的预处理流程，包括方向标准化、HU 窗位、各向同性重采样和数据增强，以确保跨数据集的一致性。

实验结果

研究问题

• RQ1 单一通用病灶检测模型能否有效从标签完整性各异的异构数据集中学习？
• RQ2 如何在不进行完整放射科重新标注的前提下，可靠地恢复大型部分标注数据集（如 DeepLesion）中的缺失标注？
• RQ3 来自完全标注的单类型病灶数据集（如 LUNA、LiTS）的知识在多大程度上可被迁移以提升通用病灶检测性能？
• RQ4 与仅在不完整数据上标准训练相比，同时整合恢复的正样本和可靠的负样本是否能显著提升检测性能？

主要发现

• 所提方法在 3D 体积 ULD 基准测试中，平均敏感度相比当前最先进方法提升了 29%。
• 在相同召回率水平下，假阳性减少 50%——在 2 个子体积中达到 50% 召回率，而基线为 4 个假阳性。
• 负样本区域挖掘优于将挖掘区域视为真实病灶，可能是因为迁移知识中存在噪声和概念漂移。
• 通过 LesaNet 嵌入实现的嵌入匹配可成功检索缺失病灶，具有高度临床相关性，提升正样本覆盖率。
• 多专家病灶检测器（MELD）在不同病灶类型和器官间具有良好泛化能力，在淋巴结、肺部和肝脏（三种最常见病灶部位）表现优异。
• 通过增加新的头分支及对应的数据集，该框架可轻松扩展至其他器官和病灶类型，如肾或胰腺肿瘤。