[论文解读] Synaptic Cleft Segmentation in Non-Isotropic Volume Electron Microscopy of the Complete Drosophila Brain

Larissa Heinrich, Jan Funke+3 more|arXiv (Cornell University)|May 7, 2018

Advanced Electron Microscopy Techniques and Applications被引用 4

一句话总结

本文提出一种基于非各向同性连续切片透射电镜（ssTEM）数据中手动标注的突触裂隙的符号距离变换进行回归训练的3D-U-Net架构，在CREMI挑战赛中达到最先进性能，并实现了对50万亿个体素的果蝇大脑的全脑突触裂隙预测，具有高度一致性和速度。

ABSTRACT

Neural circuit reconstruction at single synapse resolution is increasingly recognized as crucially important to decipher the function of biological nervous systems. Volume electron microscopy in serial transmission or scanning mode has been demonstrated to provide the necessary resolution to segment or trace all neurites and to annotate all synaptic connections. Automatic annotation of synaptic connections has been done successfully in near isotropic electron microscopy of vertebrate model organisms. Results on non-isotropic data in insect models, however, are not yet on par with human annotation. We designed a new 3D-U-Net architecture to optimally represent isotropic fields of view in non-isotropic data. We used regression on a signed distance transform of manually annotated synaptic clefts of the CREMI challenge dataset to train this model and observed significant improvement over the state of the art. We developed open source software for optimized parallel prediction on very large volumetric datasets and applied our model to predict synaptic clefts in a 50 tera-voxels dataset of the complete Drosophila brain. Our model generalizes well to areas far away from where training data was available.

研究动机与目标

• 解决在非各向同性ssTEM数据中实现精确突触裂隙分割的挑战，该问题仍是大规模节肢动物神经连接组学的瓶颈。
• 克服现有方法在非各向同性数据上表现不佳的局限，特别是针对节肢动物大脑中微小且复杂的突触。
• 开发一种深度学习框架，即使在训练数据稀疏且分辨率非各向同性的情况下，也能在不同脑区之间实现良好泛化。
• 通过在分布式GPU上优化并行推理，实现在万亿个体素规模数据集上的高效、可扩展预测。
• 在非各向同性ssTEM数据上实现与人工标注者相当的性能，这是自动化连接组重建的关键里程碑。

提出的方法

• 设计一种专为非各向同性ssTEM数据优化的3D-U-Net架构（DTU-2），减少参数量并提升对突触裂隙检测的归纳偏差。
• 通过在二值突触裂隙标签的符号欧几里得距离变换（SEDT）上进行回归来训练网络，经缩放后通过tanh非线性激活以稳定训练过程。
• 应用数据增强技术，包括弹性形变、强度变化以及ssTEM特有的伪影（如缺失或噪声切片），以提升泛化能力。
• 采用类别平衡采样策略，对95%不含突触的批次进行拒绝，并使用重平衡损失以惩罚假阴性，解决突触裂隙极端稀疏的问题。
• 引入神经元边界检测的辅助损失以改善定位精度，训练期间两个损失权重相等。
• 部署基于Dask和N5格式的分布式、GPU加速推理流水线，通过重叠输入块和非重叠输出块并行处理大规模数据。

实验结果

研究问题

• RQ1 3D-U-Net架构能否被有效适配至非各向同性ssTEM数据，从而在突触裂隙分割上超越当前最先进方法？
• RQ2 在手动标注裂隙的符号距离变换上进行训练，是否相比标准像素级分类能带来更好的泛化性和鲁棒性？
• RQ3 尽管形态和成像伪影存在差异，该模型能否在训练数据中未包含的脑区（如唇状突或皮层）上实现有效泛化？
• RQ4 当应用于50万亿个体素规模的全脑数据集时，该推理流水线的可扩展性和效率如何？
• RQ5 预测的突触裂隙分布在多大程度上与已知的生物学模式一致，例如共聚焦显微镜中nc82抗体标记所显示的模式？

主要发现

• 所提出的DTU-2模型在CREMI挑战赛中优于先前架构，尽管参数更少，其CREMI得分仍超越了最先进水平。
• 该模型在未见脑区上泛化良好，在如唇状突和皮层等区域生成了准确且一致的突触裂隙预测，即使这些区域未出现在训练数据中。
• 预测流水线实现了每张GPU约300万个体素/秒的平均吞吐量，使50万亿个体素的果蝇大脑预测在五天内完成。
• 当模型输出与非各向同性高斯点扩散函数卷积后，可重现共聚焦显微镜中nc82抗体标记所观察到的突触密度模式，验证了其生物学合理性。
• 引入神经元边界检测的辅助损失提升了性能，尤其对较浅的DTU-1架构更为显著，表明多任务学习可增强定位精度。
• 该框架为开源并以宽松许可证公开，支持可重现性，并推动其在连接组学研究中的广泛应用。