[论文解读] Recursive Training of 2D-3D Convolutional Networks for Neuronal Boundary Detection

Kisuk Lee, Aleksandar Zlateski+2 more|arXiv (Cornell University)|Aug 20, 2015

Cell Image Analysis Techniques参考文献 37被引用 31

一句话总结

本文提出一种递归的混合2D-3D卷积神经网络（VD2D3D），用于在高度各向异性的序列切片电子显微镜（EM）图像中实现更优的神经元边界检测。通过结合更深层的2D特征提取与3D上下文建模，并利用初步边界图递归优化预测结果，该方法在保持高效CPU-based 3D卷积（通过ZNN实现）的同时，实现了最先进的准确率，优于以往的纯2D模型。

ABSTRACT

Efforts to automate the reconstruction of neural circuits from 3D electron microscopic (EM) brain images are critical for the field of connectomics. An important computation for reconstruction is the detection of neuronal boundaries. Images acquired by serial section EM, a leading 3D EM technique, are highly anisotropic, with inferior quality along the third dimension. For such images, the 2D max-pooling convolutional network has set the standard for performance at boundary detection. Here we achieve a substantial gain in accuracy through three innovations. Following the trend towards deeper networks for object recognition, we use a much deeper network than previously employed for boundary detection. Second, we incorporate 3D as well as 2D filters, to enable computations that use 3D context. Finally, we adopt a recursively trained architecture in which a first network generates a preliminary boundary map that is provided as input along with the original image to a second network that generates a final boundary map. Backpropagation training is accelerated by ZNN, a new implementation of 3D convolutional networks that uses multicore CPU parallelism for speed. Our hybrid 2D-3D architecture could be more generally applicable to other types of anisotropic 3D images, including video, and our recursive framework for any image labeling problem.

研究动机与目标

• 改进因z方向分辨率差和配准伪影而影响的序列切片电子显微镜（EM）图像中的神经元边界检测。
• 通过混合2D与3D卷积核，将3D上下文信息整合到纯2D卷积神经网络中，以克服其局限性。
• 通过在初步边界检测网络的输出基础上递归训练第二个网络，增强特征表示并提高信噪比。
• 利用ZNN框架实现多核CPU并行计算，使大型3D EM体数据集上的深层3D卷积神经网络训练成为可能。

提出的方法

• 首先训练一个更深的2D-ConvNet（VD2D），使用ReLU激活函数、小卷积核和池化操作之间的多层卷积，生成初步边界图。
• 第二个网络（VD2D3D）将原始图像与初步边界图作为输入，结合2D和3D卷积核，以在各向异性的EM数据中有效利用3D空间上下文。
• 递归训练框架将VD2D的输出作为调制输入馈送到VD2D3D中，通过端到端反向传播实现边界预测的迭代优化。
• 训练通过ZNN加速，ZNN是一种面向CPU优化的3D卷积神经网络库，支持大尺寸输出块训练和密集特征图计算，从而实现高效的3D学习。
• 该架构利用层次化特征学习，其中VD2D3D中的高层表示通过递归整合上下文线索，放大边界相关信号并抑制噪声。
• 通过将softmax输出层替换为分别对应x、y和z方向亲和力的三个独立单元，该方法可扩展用于生成3D亲和图。

实验结果

研究问题

• RQ1 与标准的纯2D模型相比，更深层的2D-3D混合卷积神经网络架构是否能显著提升在各向异性3D EM图像中的边界检测准确率？
• RQ2 通过将初步边界图反馈至第二个网络进行递归训练，是否能实现更优的特征表示并提升边界检测的信噪比？
• RQ3 尽管z方向分辨率较低，将3D卷积核整合到以2D为主的架构中，是否能有效建模序列切片EM数据中的3D上下文信息？
• RQ4 ZNN是否是训练大型3D EM数据集上的深层3D卷积神经网络的可行且高效的替代方案，相较于基于GPU的框架？
• RQ5 递归优化机制在多大程度上模拟了灵长类视觉皮层中观察到的自上而下的注意力机制？

主要发现

• VD2D3D模型在ISBI’12 2D EM分割基准测试中实现了神经元边界检测的最先进性能，显著优于基于2D最大池化卷积神经网络的先前SOTA模型（N4）。
• 递归训练策略通过可视化特征图，显著提升了边界表示的信噪比，其中边界信号被增强，背景噪声被有效抑制。
• 在后期层中引入3D卷积核的混合2D-3D架构，能有效捕捉3D上下文信息，即使在各向异性分辨率下，也能提升复杂边界区域的判别能力。
• ZNN使在CPU上高效训练深层3D卷积神经网络成为可能，支持密集特征图计算和基于块的训练，从而实现对大型3D EM体数据集的可扩展处理。
• 递归框架实现了层次化特征学习，其中高层预测的自上而下反馈调制了低层特征图，从而提升了检测精度。
• 该方法具有良好的泛化能力：递归训练范式与混合2D-3D滤波器设计可推广至其他各向异性的3D图像任务，包括视频处理与3D图像标注。