[论文解读] Topology guaranteed segmentation of the human retina from OCT using convolutional neural networks

Yufan He, Aaron Carass+5 more|arXiv (Cornell University)|Mar 14, 2018

Retinal Imaging and Analysis参考文献 1被引用 30

一句话总结

本文提出一种级联深度学习框架，采用分割网络（S-Net）后接回归网络（R-Net）的结构，实现在OCT图像中拓扑结构保证的视网膜层分割。通过使用ReLU激活函数进行厚度回归，确保厚度值非负，该方法保证了解剖上正确的层序排列，尤其在黄斑区表现优异，同时实现了最先进的精度，边界平均绝对误差为2.82 μm。

ABSTRACT

Optical coherence tomography (OCT) is a noninvasive imaging modality which can be used to obtain depth images of the retina. The changing layer thicknesses can thus be quantified by analyzing these OCT images, moreover these changes have been shown to correlate with disease progression in multiple sclerosis. Recent automated retinal layer segmentation tools use machine learning methods to perform pixel-wise labeling and graph methods to guarantee the layer hierarchy or topology. However, graph parameters like distance and smoothness constraints must be experimentally assigned by retinal region and pathology, thus degrading the flexibility and time efficiency of the whole framework. In this paper, we develop cascaded deep networks to provide a topologically correct segmentation of the retinal layers in a single feed forward propagation. The first network (S-Net) performs pixel-wise labeling and the second regression network (R-Net) takes the topologically unconstrained S-Net results and outputs layer thicknesses for each layer and each position. Relu activation is used as the final operation of the R-Net which guarantees non-negativity of the output layer thickness. Since the segmentation boundary position is acquired by summing up the corresponding non-negative layer thicknesses, the layer ordering (i.e., topology) of the reconstructed boundaries is guaranteed even at the fovea where the distances between boundaries can be zero. The R-Net is trained using simulated masks and thus can be generalized to provide topology guaranteed segmentation for other layered structures. This deep network has achieved comparable mean absolute boundary error (2.82 μm) to state-of-the-art graph methods (2.83 μm).

研究动机与目标

• 解决现有深度学习方法在自动分割过程中难以保持视网膜层拓扑结构的局限性。
• 通过将拓扑约束直接嵌入网络架构，消除拓扑强制中手动调参的需求。
• 开发一种快速、端到端的深度学习框架，通过厚度回归保证正确的层序排列。
• 通过在模拟掩码上进行训练，实现向其他分层解剖结构的泛化能力。
• 在无需后处理的情况下，实现最先进的分割精度并保持拓扑正确性。

提出的方法

• 基于U-Net的全卷积网络（S-Net）对128×128图像块中的视网膜层进行初始像素级标注。
• 第二个基于U-Net的回归网络（R-Net）接收S-Net的输出，并在每个空间位置预测各视网膜层的厚度。
• 在R-Net的最终层应用ReLU激活函数，以强制厚度预测值为非负，确保拓扑顺序。
• 通过从玻璃体到脉络膜累计厚度重建边界位置，即使在黄斑区也能保持层序层次结构。
• R-Net在通过在真实标签中添加噪声和缺陷生成的模拟分割掩码上进行训练，以提升鲁棒性。
• 该框架支持单次前向传播完成整个B-scan的分割，预处理包括Bruch膜检测、视网膜平铺和裁剪。

实验结果

研究问题

• RQ1 深度学习框架是否能在不依赖后处理图方法及手动调参的情况下，保证视网膜层的拓扑结构？
• RQ2 采用ReLU激活的厚度回归是否能确保在黄斑区（层间距离趋近于零）的解剖学上正确的边界排序？
• RQ3 在合成掩码上训练的基于回归的方法是否能泛化到真实OCT扫描，同时保持高分割精度？
• RQ4 所提出的级联网络（S-Net + R-Net）是否在精度上达到或超过最先进的图基方法，同时更快速且更具灵活性？
• RQ5 该框架是否可扩展至视网膜以外的其他分层生物结构？

主要发现

• 所提出的S-Net + R-Net框架实现了2.82 μm的平均绝对边界误差（MAD），与最先进的RF+Graph方法（2.83 μm）相当。
• 该方法表现出更优的偏差控制，平均符号差异（MSD）为-0.03 μm（而RF+Graph方法为-0.80 μm），表明系统性误差更小。
• 该方法的MSD第95百分位数为-8.17 μm，低于RF+Graph方法的-9.08 μm，表明对异常值更具鲁棒性。
• 单个体积（496×1024×49）的总分割时间为10秒，显著快于RF+Graph方法所需的100秒。
• 当S-Net因图像质量差或边界模糊而产生错误标注时，R-Net仍能成功保持拓扑正确性。
• 由于在易于生成的模拟掩码上进行训练，该框架对其他分层结构具有良好的泛化能力，展现出超越视网膜OCT的广泛适用性。