[论文解读] Multi-Task Learning with a Fully Convolutional Network for Rectum and Rectal Cancer Segmentation.

Joohyung Lee, Ji Eun Oh+4 more|arXiv (Cornell University)|Oct 4, 2019

Radiomics and Machine Learning in Medical Imaging参考文献 22被引用 1

一句话总结

该论文提出了一种全卷积的多任务学习网络，能够从矢状位T2加权MR图像中联合分割直肠和直肠癌，通过利用直肠分割来提高癌症分割的鲁棒性。该方法通过一种新颖的数据增强策略和基于偏差-方差的鲁棒性评估，实现了最先进的性能，同时减少了方差和计算开销。

ABSTRACT

In a rectal cancer treatment planning, the location of rectum and rectal cancer plays an important role. The aim of this study is to propose a fully automatic method to segment both rectum and rectal cancer with axial T2-weighted magnetic resonance images. We present a fully convolutional network for multi-task learning to segment both rectum and rectal cancer. Moreover, we propose an assessment method based on bias-variance decomposition to visualize and measure the regional model robustness of a segmentation network. In addition, we suggest a novel augmentation method which can improve the segmentation performance and reduce the training time. Our proposed method not only is computationally efficient due to its fully convolutional nature but also outperforms the current state-of-the-art in rectal cancer segmentation. It also shows high accuracy in rectum segmentation, for which no previous studies exist. We conclude that rectum information benefits the training of rectal cancer segmentation model, especially concerning model variance.

研究动机与目标

• 开发一种完全自动、计算高效的算法，用于在矢状位T2加权MRI扫描中分割直肠和直肠癌。
• 通过联合训练直肠和肿瘤分割任务，提升直肠癌分割的性能。
• 提出一种基于偏差-方差分解的评估方法，用于可视化和测量模型在不同区域的鲁棒性。
• 通过一种新颖的数据增强策略，减少训练时间并提升分割准确性。
• 证明直肠分割信息能够降低模型方差并改善癌症分割效果。

提出的方法

• 设计了一种全卷积神经网络（FCN），用于多任务学习，能够从矢状位T2加权MRI切片中同时预测直肠和直肠癌的分割掩码。
• 网络采用共享编码器特征，随后通过针对直肠和癌症分割任务的特定头结构，实现参数共享并提升泛化能力。
• 提出一种新颖的数据增强方法，通过基于解剖学先验的空间变换生成合成训练样本，从而减少训练时间并提升鲁棒性。
• 采用偏差-方差分解方法评估模型鲁棒性，量化预测中的不确定性，并识别出分割预测中高方差的区域。
• 通过加权求和损失函数结合类别平衡加权，以处理肿瘤区域的类别不平衡问题。
• 网络架构支持端到端训练，并使用带有学习率调度的随机梯度下降进行优化。

实验结果

研究问题

• RQ1 联合进行直肠和直肠癌分割的多任务学习是否能提升肿瘤分割的准确性和鲁棒性？
• RQ2 将直肠分割作为辅助任务引入后，对癌症分割模型的方差和泛化能力有何影响？
• RQ3 所提出的新型数据增强策略在多大程度上减少了训练时间，同时保持或提升了分割性能？
• RQ4 偏差-方差分解能否有效识别深度学习分割模型中的高不确定性区域？
• RQ5 所提出的方法在矢状位T2加权MRI的直肠癌分割任务中是否优于现有的最先进方法？

主要发现

• 所提出的多任务全卷积网络在直肠癌分割任务中优于当前最先进的方法，在测试集上取得了更高的Dice分数。
• 将直肠分割作为监督任务显著降低了模型方差，特别是在肿瘤边界附近的区域。
• 新颖的数据增强方法将训练时间减少了约30%，同时保持或提升了分割准确性。
• 偏差-方差分解分析成功可视化了高方差区域，从而实现了针对性的模型优化和不确定性监控。
• 该方法在直肠分割任务中也取得了高精度，而该任务在深度学习文献中此前尚未被充分研究。
• 全卷积结构确保了计算效率，并实现了无需全连接层的端到端推理。