[论文解读] Robust neural circuit reconstruction from serial electron microscopy with convolutional recurrent networks

Drew Linsley, Junkyung Kim+2 more|arXiv (Cornell University)|Nov 28, 2018

Advanced Electron Microscopy Techniques and Applications参考文献 83被引用 6

一句话总结

本文提出了源-组织无关重建（STAR）挑战，以解决当前最先进深度学习模型在连续电子显微镜神经回路重建中泛化能力差的问题。该研究提出了一种新型反馈门控循环单元（fGRU）架构，整合了短程水平连接与长程自上而下的连接，其在STAR基准测试中实现了91.7%的精确率和41.4%的召回率，显著优于现有模型在未见脑组织上的表现。

ABSTRACT

Recent successes in deep learning have started to impact neuroscience. Of particular significance are claims that current segmentation algorithms achieve "super-human" accuracy in an area known as connectomics. However, as we will show, these algorithms do not effectively generalize beyond the particular source and brain tissues used for training -- severely limiting their usability by the broader neuroscience community. To fill this gap, we describe a novel connectomics challenge for source- and tissue-agnostic reconstruction of neurons (STAR), which favors broad generalization over fitting specific datasets. We first demonstrate that current state-of-the-art approaches to neuron segmentation perform poorly on the challenge. We further describe a novel convolutional recurrent neural network module that combines short-range horizontal connections within a processing stage and long-range top-down connections between stages. The resulting architecture establishes the state of the art on the STAR challenge and represents a significant step towards widely usable and fully-automated connectomics analysis.

研究动机与目标

• 解决当前连接组学中深度学习模型泛化能力有限的问题，这些模型在应用于新脑组织或成像源时会失效。
• 开发一种可在无需对新数据集进行微调或重新训练的情况下，跨多种脑组织和成像配置泛化的模型。
• 设计一种神经网络架构，利用局部与长程上下文信息，以提升复杂EM体数据中的分割性能。
• 建立一个基准测试——STAR——用于评估模型在多种物种和成像模式下的泛化能力，以衡量模型鲁棒性。
• 证明循环网络中的反馈连接可提升神经元重建任务中的分割性能。

提出的方法

• 提出一种新型反馈门控循环单元（fGRU），结合层内水平连接与来自高层的自上而下反馈，以增强上下文理解能力。
• 将fGRU模块集成到洪水填充网络（FFN）框架中，实现端到端训练以进行神经元分割。
• 在包含CREMI、FIB-25和SNEMI3D的多源、多组织训练集上训练fGRU模型，以促进泛化能力。
• 采用基于图像块的评估协议，独立于超参数调优来评估分割质量，确保性能测量的稳健性。
• 采用控制模型（FFN-CNN-Control）以减少深度和尺寸，从而隔离架构深度与反馈机制的贡献。
• 在来自Briggman数据集的独立测试集上评估模型，该测试集在组织类型和成像参数上与训练数据不同。

实验结果

研究问题

• RQ1 在一种脑组织上训练的深度学习模型能否有效泛化到连续电子显微镜中的新型、未见组织？
• RQ2 循环网络中短程水平连接与长程自上而下连接如何影响复杂EM图像中的分割性能？
• RQ3 在门控循环单元中引入反馈连接是否能超越标准卷积或循环架构，在神经元重建中提升泛化能力？
• RQ4 架构深度与模型尺寸在连接组学分割任务中对泛化能力的影响程度如何？
• RQ5 统一的模型架构是否能在无需微调的情况下，在多种生物体和成像配置中实现高性能？

主要发现

• 最先进3D U-Net与标准FFN模型在STAR测试集上无法泛化，尽管在体内验证中表现良好，但在未见组织上表现极差。
• FFN-CNN模型在STAR挑战中仅取得0.772的精确率与0.057的召回率，表明其泛化能力严重失败。
• 尽管尺寸减小，FFN-CNN-Control模型仍无法泛化，精确率为0.821，召回率为0.063，凸显了无反馈机制的浅层架构的局限性。
• 所提出的fGRU模型（FFN-fGRU）在STAR挑战中实现了91.7%的精确率与41.4%的召回率，显著优于所有基线模型。
• fGRU模型在测试体数据上生成了合理但过度分割的预测，表明其对分布偏移具有鲁棒性。
• fGRU中的反馈机制至关重要，它抑制了独立hGRU层中观察到的病态动态行为，并改善了复杂EM图像中的上下文消歧能力。