[论文解读] VESICLE: Volumetric Evaluation of Synaptic Interfaces using Computer vision at Large Scale

William Gray Roncal, Michael Pekala+8 more|arXiv (Cornell University)|Mar 14, 2014

Advanced Memory and Neural Computing被引用 11

一句话总结

VESICLE 提出了一种可扩展的、基于计算机视觉的框架，用于在大规模、各向异性的非后染色电子显微镜数据中检测突触，采用两种方法：轻量级随机森林分类器（VESICLE-RF）和深度学习分类器（VESICLE-CNN）。该框架实现了最先进性能，在 60,000 μm³（220 GB）的 EM 数据中检测到约 50,335 个突触，其中 RF 变体的推理速度比 CNN 快约 200 倍，展示了其在 PB 级连接组分析中的可扩展性。

ABSTRACT

An open challenge problem at the forefront of modern neuroscience is to obtain a comprehensive mapping of the neural pathways that underlie human brain function; an enhanced understanding of the wiring diagram of the brain promises to lead to new breakthroughs in diagnosing and treating neurological disorders. Inferring brain structure from image data, such as that obtained via electron microscopy (EM), entails solving the problem of identifying biological structures in large data volumes. Synapses, which are a key communication structure in the brain, are particularly difficult to detect due to their small size and limited contrast. Prior work in automated synapse detection has relied upon time-intensive biological preparations (post-staining, isotropic slice thicknesses) in order to simplify the problem. This paper presents VESICLE, the first known approach designed for mammalian synapse detection in anisotropic, non-post-stained data. Our methods explicitly leverage biological context, and the results exceed existing synapse detection methods in terms of accuracy and scalability. We provide two different approaches - one a deep learning classifier (VESICLE-CNN) and one a lightweight Random Forest approach (VESICLE-RF) to offer alternatives in the performance-scalability space. Addressing this synapse detection challenge enables the analysis of high-throughput imaging data soon expected to reach petabytes of data, and provide tools for more rapid estimation of brain-graphs. Finally, to facilitate community efforts, we developed tools for large-scale object detection, and demonstrated this framework to find $\approx$ 50,000 synapses in 60,000 $μm ^3$ (220 GB on disk) of electron microscopy data.

研究动机与目标

• 为解决在大规模、各向异性的非后染色电子显微镜数据中检测突触的挑战，该挑战对重建脑连接组至关重要。
• 克服先前方法依赖各向同性、后染色数据且在大体积数据下计算成本过高的局限性。
• 开发一种可扩展、高精度且可重用的自动化突触检测框架，适用于高通量成像流水线。
• 提供两种互补方法——VESICLE-RF 和 VESICLE-CNN——在速度、精度和计算成本之间实现权衡。
• 通过集成分布式处理和开源工具，使该框架能够扩展至 PB 级 EM 数据集，支持社区使用。

提出的方法

• VESICLE-RF 使用基于体素特征的随机森林分类器，包括膜概率和突触小泡存在性，以在各向异性的 EM 体积中检测突触。
• 该方法通过将检测限制在膜可能性高且靠近神经递质囊泡的体素中，利用生物学先验知识。
• VESICLE-CNN 采用具有 3D 上下文的深度卷积神经网络对突触区域进行分类，以实现更高的精度，但计算负载更大。
• 两种方法均采用基于图像块的处理流水线，并可配置填充以避免边界伪影，同时支持分布式计算。
• 该框架与开放连接组计划（Open Connectome Project）的 RESTful 服务集成，用于数据访问、可视化和大规模部署。
• 应用带通强度滤波器以估计后染色数据中的膜区域，从而实现跨数据集验证和性能评估。

实验结果

研究问题

• RQ1 计算机视觉方法是否能在非后染色、各向异性的 EM 数据中，以比现有方法更高的准确率和可扩展性检测突触？
• RQ2 在低对比度、厚切片的 EM 数据中，膜概率和突触小泡邻近性等生物学先验如何提升突触检测性能？
• RQ3 在大规模突触检测中，使用随机森林分类器与深度学习分类器在性能与计算效率之间的权衡如何？
• RQ4 所提出的框架是否能够在保持高精确率和高召回率的同时，扩展至 PB 级 EM 数据集？
• RQ5 在真实世界的大体积 EM 数据中，VESICLE 框架的性能与最先进方法相比如何？

主要发现

• VESICLE-RF 在 60,000 μm³（220 GB）的非后染色 EM 数据中检测到约 50,335 个突触，这是该论文发表时已知的最大规模突触检测结果。
• VESICLE-RF 在单台机器上实现 10 分钟内完成推理，相比 VESICLE-CNN 速度提升约 200 倍，计算负载降低约 8 倍。
• VESICLE-CNN 在单块 GPU 上训练耗时 56 小时，评估耗时 39 小时，展现出高精度，但需大量计算资源。
• 在 1450 万 μm³（20 万亿体素）的后染色、各向异性数据集中，该框架检测到约 1160 万个突触，与预期的 0.5–1 个突触/μm³ 的密度一致。
• 在后染色数据集上，框架实现了 0.69 的精确率和 0.6 的召回率，随着进一步开发和标注，性能有望进一步提升。
• 开源实现可通过 openconnecto.me/vesicle 获取，支持社区复用，并可集成至大规模连接组分析流水线。