[论文解读] Residual Block-based Multi-Label Classification and Localization Network with Integral Regression for Vertebrae Labeling

Chunli Qin, Demin Yao+4 more|arXiv (Cornell University)|Jan 1, 2020

Medical Imaging and Analysis参考文献 32被引用 8

一句话总结

该论文提出了一种基于残差块的多标签分类与定位网络，并结合积分回归，以实现CT扫描中椎体的精确标注。通过融合多尺度特征提取、跳跃连接以及通过积分回归实现的可微关键点回归，该方法实现了端到端训练，并将平均定位误差控制在3毫米以内，优于当前最先进方法。

ABSTRACT

Accurate identification and localization of the vertebrae in CT scans is a critical and standard preprocessing step for clinical spinal diagnosis and treatment. Existing methods are mainly based on the integration of multiple neural networks, and most of them use the Gaussian heat map to locate the vertebrae's centroid. However, the process of obtaining the vertebrae's centroid coordinates using heat maps is non-differentiable, so it is impossible to train the network to label the vertebrae directly. Therefore, for end-to-end differential training of vertebra coordinates on CT scans, a robust and accurate automatic vertebral labeling algorithm is proposed in this study. Firstly, a novel residual-based multi-label classification and localization network is developed, which can capture multi-scale features, but also utilize the residual module and skip connection to fuse the multi-level features. Secondly, to solve the problem that the process of finding coordinates is non-differentiable and the spatial structure is not destructible, integral regression module is used in the localization network. It combines the advantages of heat map representation and direct regression coordinates to achieve end-to-end training, and can be compatible with any key point detection methods of medical image based on heat map. Finally, multi-label classification of vertebrae is carried out, which use bidirectional long short term memory (Bi-LSTM) to enhance the learning of long contextual information to improve the classification performance. The proposed method is evaluated on a challenging dataset and the results are significantly better than the state-of-the-art methods (mean localization error <3mm).

研究动机与目标

• 开发一种用于CT扫描中椎体标注的端到端可微分框架，以解决基于热图的坐标回归的不可微性问题。
• 通过残差块和跳跃连接融合多尺度与多层级特征，提升定位精度。
• 通过双向长短期记忆网络（Bi-LSTM）建模长距离上下文依赖关系，提升分类性能。
• 实现椎体中心坐标直接、可微分的回归，同时保持空间结构信息。

提出的方法

• 设计了一种基于残差的多标签分类与定位网络，以捕捉多尺度特征，并通过跳跃连接融合多层级表示。
• 积分回归模块取代了传统的热图峰值查找，采用可微操作，实现坐标预测的端到端训练。
• 定位头利用积分回归，将椎体中心坐标计算为概率分布的加权和，使整个过程可微。
• 在分类头中集成双向长短期记忆网络（Bi-LSTM），以建模长距离依赖关系，提升标签预测精度。
• 采用联合损失函数对网络进行端到端训练，兼顾分类与定位任务。
• 该方法可兼容任何基于热图的关键点检测框架，支持灵活集成到现有流程中。

实验结果

研究问题

• RQ1 能否设计一种可微分的定位模块，以实现CT扫描中椎体中心坐标预测的端到端训练？
• RQ2 如何有效融合多尺度与多层级特征，以提升定位精度？
• RQ3 Bi-LSTM对上下文序列的建模在多标签椎体分类中能带来多大程度的性能提升？
• RQ4 与传统的热图峰值查找相比，积分回归在定位精度和训练稳定性方面是否更具优势？
• RQ5 在具有挑战性的椎体标注基准上，该方法与当前最先进方法相比表现如何？

主要发现

• 所提方法在具有挑战性的CT数据集上实现了小于3毫米的平均定位误差，显著优于现有最先进方法。
• 积分回归模块实现了可微分的坐标回归，使端到端训练成为可能，无需依赖不可微的后处理步骤。
• 残差块与跳跃连接的集成提升了特征表示学习能力与定位鲁棒性。
• 在分类头中引入Bi-LSTM通过建模椎体之间的长距离上下文关系，显著提升了性能。
• 该方法展现出强大的泛化能力，并可与多种基于热图的关键点检测方法兼容。