[论文解读] Recurrent Convolutional Networks for Pulmonary Nodule Detection in CT Imaging

Petros-Pavlos Ypsilantis, Giovanni Montana|arXiv (Cornell University)|Sep 28, 2016

Lung Cancer Diagnosis and Treatment参考文献 58被引用 13

一句话总结

该论文提出ReCTnet，一种结合卷积神经网络与循环神经网络的深度学习架构，通过建模轴向切片间的空间依赖关系，实现对CT扫描中肺结节的检测。在LIDC/IDRI数据集上，该方法实现了90.5%的敏感度与每幅扫描4.5个假阳性，优于先前方法，通过LSTM层提升结节判别能力，且未增加假阳性数量。

ABSTRACT

Computed tomography (CT) generates a stack of cross-sectional images covering a region of the body. The visual assessment of these images for the identification of potential abnormalities is a challenging and time consuming task due to the large amount of information that needs to be processed. In this article we propose a deep artificial neural network architecture, ReCTnet, for the fully-automated detection of pulmonary nodules in CT scans. The architecture learns to distinguish nodules and normal structures at the pixel level and generates three-dimensional probability maps highlighting areas that are likely to harbour the objects of interest. Convolutional and recurrent layers are combined to learn expressive image representations exploiting the spatial dependencies across axial slices. We demonstrate that leveraging intra-slice dependencies substantially increases the sensitivity to detect pulmonary nodules without inflating the false positive rate. On the publicly available LIDC/IDRI dataset consisting of 1,018 annotated CT scans, ReCTnet reaches a detection sensitivity of 90.5% with an average of 4.5 false positives per scan. Comparisons with a competing multi-channel convolutional neural network for multi-slice segmentation and other published methodologies using the same dataset provide evidence that ReCTnet offers significant performance gains.

研究动机与目标

• 为解决自动化肺结节检测中敏感度低与假阳性率高的挑战。
• 开发一种深度学习架构，直接从原始CT数据学习分层图像表征，避免手工设计特征。
• 通过在多个轴向CT切片间建模空间依赖关系，利用循环层提升检测性能。
• 展示端到端训练联合优化卷积与循环组件的有效性。
• 探索注意力机制、Dropout及自适应采样等架构组件对性能提升的作用。

提出的方法

• ReCTnet结合3D卷积层与双向LSTM，以在相邻CT切片间提取并传播上下文特征。
• 网络处理以每个体素为中心的7个体素轴向切片序列，以建模切片间的解剖上下文。
• 基于LSTM处理后的特征，使用全连接多层感知机（MLP）将每个体素分类为结节或非结节。
• 采用端到端训练联合优化所有网络参数，提升特征表征能力与泛化性能。
• 架构利用空洞卷积在保持空间分辨率的同时扩展感受野，实现上下文聚合。
• 测试了确定性注意力机制以加权重要图像块，但其性能未优于LSTM门控。

实验结果

研究问题

• RQ1 能否通过建模切片间依赖关系的深度神经网络，在不增加假阳性数量的前提下提升肺结节检测的敏感度？
• RQ2 将循环层与卷积网络结合，如何增强对CT扫描中微小、低对比度结节的特征表征能力？
• RQ3 联合卷积-循环架构的端到端训练是否优于微调或预训练策略？
• RQ4 为建模足够的解剖上下文以实现准确检测，所需相邻切片的最优数量是多少？
• RQ5 注意力机制或自适应采样策略是否能在复杂情况下进一步提升检测性能？

主要发现

• ReCTnet在LIDC/IDRI数据集上实现了90.5%的检测敏感度，显著优于先前方法及竞争性的多通道CNN。
• 该模型保持了每幅扫描4.5个假阳性的低假阳性率，表明在高敏感度下仍具备强特异性。
• 采用双向LSTM有效整合相邻切片的信息，提升了结节判别能力。
• 端到端训练对实现最优性能至关重要，仅微调顶层参数的策略导致准确率下降。
• 增加第二层LSTM相比单层LSTM进一步提升了性能，证明了深层循环建模的优势。
• 注意力机制、Dropout及自适应采样等技术在此设置下未带来可测量的性能增益。