[论文解读] T-Net: Encoder-Decoder in Encoder-Decoder architecture for the main vessel segmentation in coronary angiography.

Tae Joon Jun, Jihoon Kweon+2 more|arXiv (Cornell University)|May 10, 2019

Retinal Imaging and Analysis参考文献 21被引用 3

一句话总结

T-Net 提出了一种编码器-解码器-在-编码器-解码器（EDiED）架构，通过在不同特征图尺寸之间实现多条跳跃连接，增强了冠状动脉造影中的血管分割。通过在单个模块内战略性地安排下采样和上采样操作，T-Net 将低级到高级的特征直接传递至解码器的起始部分，实现了 0.890 的 Dice 相似度系数——比 U-Net 高出 0.170。

ABSTRACT

In this paper, we proposed T-Net containing a small encoder-decoder inside the encoder-decoder structure (EDiED). T-Net overcomes the limitation that U-Net can only have a single set of the concatenate layer between encoder and decoder block. To be more precise, the U-Net symmetrically forms the concatenate layers, so the low-level feature of the encoder is connected to the latter part of the decoder, and the high-level feature is connected to the beginning of the decoder. T-Net arranges the pooling and up-sampling appropriately during the encoder process, and likewise during the decoding process so that feature-maps of various sizes are obtained in a single block. As a result, all features from the low-level to the high-level extracted from the encoder are delivered from the beginning of the decoder to predict a more accurate mask. We evaluated T-Net for the problem of segmenting three main vessels in coronary angiography images. The experiment consisted of a comparison of U-Net and T-Nets under the same conditions, and an optimized T-Net for the main vessel segmentation. As a result, T-Net recorded a Dice Similarity Coefficient score (DSC) of 0.815, 0.095 higher than that of U-Net, and the optimized T-Net recorded a DSC of 0.890 which was 0.170 higher than that of U-Net. In addition, we visualized the weight activation of the convolutional layer of T-Net and U-Net to show that T-Net actually predicts the mask from earlier decoders. Therefore, we expect that T-Net can be effectively applied to other similar medical image segmentation problems.

研究动机与目标

• 解决 U-Net 的单跳跃连接限制了编码器与解码器之间特征融合的问题。
• 通过在解码器起始阶段即传递全部编码器特征（从低级到高级），实现更有效的特征传播。
• 提高在造影图像中对三条主要冠状动脉的分割精度。
• 设计一种可扩展的架构，适用于其他具有类似层次化特征需求的医学图像分割任务。

提出的方法

• 引入一种 EDiED（编码器-解码器在编码器-解码器中）结构，即将一个小型编码器-解码器嵌入主编码器-解码器中。
• 重新组织编码和解码过程中的下采样与上采样操作，以在单个模块内生成不同尺寸的特征图。
• 从所有编码器特征图建立多条跳跃连接，直接连接至解码器的起始部分，实现在早期阶段的全面特征融合。
• 采用对称的编码和解码路径，并结合自适应的特征图尺寸管理，以保留空间和语义信息。
• 使用二元交叉熵损失函数进行端到端训练，实现对冠状动脉血管的像素级分割。
• 应用可视化技术分析卷积层激活情况，验证模型对解码器早期预测的关注程度。

实验结果

研究问题

• RQ1 具有多条跳跃连接的增强型编码器-解码器架构是否能提升冠状动脉造影中血管分割的准确性？
• RQ2 是否将低级和高级特征同时传递至解码器起始部分，能带来比 U-Net 的单跳跃连接更优的掩码预测结果？
• RQ3 在主要冠状动脉血管分割任务中，T-Net 架构与 U-Net 相比，Dice 相似度系数表现如何？
• RQ4 模型在多大程度上利用了解码器早期层进行精确分割，这是否可通过激活模式得到体现？

主要发现

• T-Net 在主要血管分割任务中实现了 0.815 的 Dice 相似度系数（DSC），比 U-Net 的表现高出 0.095。
• 经过优化的 T-Net 版本实现了 0.890 的 DSC，较 U-Net 提升了 0.170。
• 卷积层权重的可视化结果证实，T-Net 有效利用了解码器早期层进行掩码预测，表明其具备高效的特征利用能力。
• T-Net 中的多尺度跳跃连接机制实现了跨不同抽象层次的更稳健特征融合。
• 该架构在需要精确边界检测的医学图像分割任务中表现出更优的泛化能力。
• T-Net 的设计可迁移至其他具有类似层次化特征需求的医学影像应用中。