[论文解读] RhoanaNet Pipeline: Dense Automatic Neural Annotation

Seymour Knowles-Barley, Verena Kaynig+8 more|arXiv (Cornell University)|Nov 21, 2016

Advanced Neural Network Applications参考文献 12被引用 22

一句话总结

RhoanaNet 是一种基于深度学习的密集自动神经注释流程，用于电子显微镜成像，通过基于 U-Net 的膜分割和基于 Gala 的三维区域聚合，实现在基准数据集上的最先进 F 分数，最高达 0.9438。该框架实现了高通量、高精度的突触组重建，并提供开源代码与数据，支持在连接组学领域进行可复现的基准测试。

ABSTRACT

Reconstructing a synaptic wiring diagram, or connectome, from electron microscopy (EM) images of brain tissue currently requires many hours of manual annotation or proofreading (Kasthuri and Lichtman, 2010; Lichtman and Sanes, 2008; Seung, 2009). The desire to reconstruct ever larger and more complex networks has pushed the collection of ever larger EM datasets. A cubic millimeter of raw imaging data would take up 1 PB of storage and present an annotation project that would be impractical without relying heavily on automatic segmentation methods. The RhoanaNet image processing pipeline was developed to automatically segment large volumes of EM data and ease the burden of manual proofreading and annotation. Based on (Kaynig et al., 2015), we updated every stage of the software pipeline to provide better throughput performance and higher quality segmentation results. We used state of the art deep learning techniques to generate improved membrane probability maps, and Gala (Nunez-Iglesias et al., 2014) was used to agglomerate 2D segments into 3D objects. We applied the RhoanaNet pipeline to four densely annotated EM datasets, two from mouse cortex, one from cerebellum and one from mouse lateral geniculate nucleus (LGN). All training and test data is made available for benchmark comparisons. The best segmentation results obtained gave $V^ ext{Info}_ ext{F-score}$ scores of 0.9054 and 09182 for the cortex datasets, 0.9438 for LGN, and 0.9150 for Cerebellum. The RhoanaNet pipeline is open source software. All source code, training data, test data, and annotations for all four benchmark datasets are available at www.rhoana.org.

研究动机与目标

• 为应对从电子显微镜（EM）数据集中手动重建大规模突触组所面临的日益严峻挑战，这些数据集因体积庞大（例如，1 mm³ 体积达 1 PB）而难以人工标注。
• 通过采用最先进深度学习技术，提升 EM 图像体积中自动化分割的吞吐量与准确性。
• 通过提供四个密集标注的 EM 数据集及真实标注，建立可复现的基准框架，用于连接组学研究。
• 通过改进基于 U-Net 的膜检测与基于 Gala 的三维聚合，提升自动化分割质量，从而减少对人工校对的依赖。
• 通过在 www.rhoana.org 发布开源软件、训练数据、测试数据与标注，推动整个社区在连接组学领域的协同进步。

提出的方法

• 采用 Keras 与 Theano 实现的 U-Net 卷积神经网络，从 2D EM 图像生成高分辨率膜概率图。
• 针对 ECS Cortex 数据集，采用修改后的 U-Net 架构，将输入图像块大小减小至 540×540 像素，以适应更小的训练体积。
• 使用 Gala（Nunez-Iglesias 等，2014）进行三维区域聚合，将跨连续切片的 2D 分割结果融合为几何一致的 3D 神经元重建结果。
• 实现基于块的、可并行处理的流水线，以处理大规模数据，随后对相邻块之间的重叠区域进行合并。
• 通过将代码从 MATLAB 迁移至 C++ 与 Python，显著提升运行时性能，优化了处理流程。
• 应用数据增强技术（如随机旋转、翻转及非线性形变），以提升泛化能力，尤其在小样本训练集（如小脑数据集）上表现更优。

实验结果

研究问题

• RQ1 基于深度学习的膜分割是否能显著提升 EM 数据集中自动化突触组重建的准确性与吞吐量？
• RQ2 与以往融合方法相比，基于 Gala 的三维区域聚合在多大程度上提升了神经元分割的质量？
• RQ3 在特定组织类型（如有髓与无髓区域）上微调预训练的 U-Net，能在多大程度上提升对细微结构（如树突棘颈、髓鞘）的分割效果？
• RQ4 RhoanaNet 流程在不同神经组织类型（皮层、小脑、外侧膝状体、ECS 皮层）上的表现如何，这些组织在对比度、噪声和结构复杂度方面存在差异？
• RQ5 带有真实标注的开放基准数据集是否能实现可复现的、由社区驱动的连接组学算法开发进展？

主要发现

• RhoanaNet 流程在 S1 皮层数据集上实现了 $V^{ ext{Info}}_{ ext{F-score}}$ 为 0.9054，$V^{ ext{Rand}}_{ ext{F-score}}$ 为 0.8478，表明其具有出色的分割性能。
• 在 LGN 数据集上，该流程实现了最高的 $V^{ ext{Info}}_{ ext{F-score}}$ 0.9438，证明其在低对比度、易受伪影影响的数据上表现卓越。
• 对于小脑数据集，尽管训练集极小，该流程仍实现了 $V^{ ext{Info}}_{ ext{F-score}}$ 0.9150，凸显了数据增强技术的有效性。
• ECS 皮层数据集因将 U-Net 输入图像块大小减小至 540×540 像素，仍实现了 $V^{ ext{Info}}_{ ext{F-score}}$ 0.9182，表明减少上下文信息对精度影响极小。
• 该流程的模块化设计使得膜分类与区域聚合等组件可独立优化，支持直接比较不同方法的性能。
• 通过在 www.rhoana.org 开源发布源代码、训练数据、测试数据与标注，实现了可复现的基准测试，并推动了连接组学领域的社区协同进步。