[论文解读] Self-Supervised Graph Representation Learning for Neuronal Morphologies

Marissa A. Weis, Laura Pede+2 more|arXiv (Cornell University)|Dec 23, 2021

Functional Brain Connectivity Studies被引用 4

一句话总结

该论文提出 GraphDINO，一种基于 Transformer 的自监督方法，用于在无需人工特征工程或标注的情况下，学习 3D 神经元形态的低维图级表征。通过结合数据增强、位置编码适配以及一种新颖的 AC-Attention 机制（将全局注意力与局部图卷积相结合），GraphDINO 在多个脑区和物种中实现的聚类性能与专家标注的细胞类型相当，并在预测专家标签方面优于先前方法。

ABSTRACT

Unsupervised graph representation learning has recently gained interest in several application domains such as neuroscience, where modeling the diverse morphology of cell types in the brain is one of the key challenges. It is currently unknown how many excitatory cortical cell types exist and what their defining morphological features are. Here we present GraphDINO, a purely data-driven approach to learn low-dimensional representations of 3D neuronal morphologies from unlabeled large-scale datasets. GraphDINO is a novel transformer-based representation learning method for spatially-embedded graphs. To enable self-supervised learning on transformers, we (1) developed data augmentation strategies for spatially-embedded graphs, (2) adapted the positional encoding and (3) introduced a novel attention mechanism, AC-Attention, which combines attention-based global interaction between nodes and classic graph convolutional processing. We show, in two different species and across multiple brain areas, that this method yields morphological cell type clusterings that are on par with manual feature-based classification by experts, but without using prior knowledge about the structural features of neurons. Moreover, it outperforms previous approaches on quantitative benchmarks predicting expert labels. Our method could potentially enable data-driven discovery of novel morphological features and cell types in large-scale datasets. It is applicable beyond neuroscience in settings where samples in a dataset are graphs and graph-level embeddings are desired.

研究动机与目标

• 开发一种数据驱动的自监督方法，用于学习 3D 神经元形态的图级嵌入，而无需依赖人工定义的形态学特征。
• 解决人工分类和特征工程带来的偏差以及高专家间差异性问题。
• 通过在大规模未标注数据集上进行无监督表征学习，实现对新型形态学细胞类型的发现。
• 在预测专家标注的细胞类型标签方面，优于现有的图神经网络和自编码器基线方法。
• 构建一个可泛化的框架，可推广至神经科学以外的领域，用于空间嵌入图的表征学习。

提出的方法

• 提出 GraphDINO，一种基于 Transformer 的模型，用于表征神经元形态的空间嵌入树状图结构。
• 设计针对 3D 空间图的数据增强策略，包括旋转、平移和子采样，以支持自监督对比学习。
• 适配位置编码，以在旋转和平移等空间变换下保持几何不变性。
• 开发 AC-Attention，一种混合注意力机制，通过基于节点相似度的路由方式，将全局自注意力与局部图卷积相结合。
• 采用带有视图增强的对比学习进行训练，使模型在未标注数据上学习到对结构扰动具有不变性的表征。
• 使用图级池化，为每个神经元生成单一嵌入，用于下游的聚类和分类任务。

实验结果

研究问题

• RQ1 一种自监督的、端到端学习的 3D 神经元形态表征，能否达到专家基于形态学分类的质量？
• RQ2 在预测专家标注的细胞类型方面，GraphDINO 与手工设计的特征工程和自编码器基线方法相比表现如何？
• RQ3 在缺乏形态学特征先验知识的情况下，GraphDINO 能在多大程度上发现具有生物学意义的细胞类型聚类？
• RQ4 通过 AC-Attention 将全局注意力与局部消息传递相结合，是否能提升空间图上的表征学习效果，相比标准 GNN 或 Transformer？
• RQ5 该方法是否能在不进行架构或超参数调优的情况下，跨物种和脑区实现泛化？

主要发现

• GraphDINO 在无需任何结构特征先验知识的情况下，实现了与神经科学家基于手工特征分类相当的形态学细胞类型聚类性能。
• 在基准数据集上，该方法在预测专家标注的细胞类型标签方面，优于传统的手工特征基线和自编码器基线方法。
• 在 ACT 数据集上，GraphDINO 在仅包含兴奋性神经元的子集上表现显著优于以往评估中混合兴奋性和抑制性类型的结果，表明其结果更具生物学意义。
• AC-Attention 机制实现了全局注意力与局部图卷积之间的平滑插值，提升了空间图上的表征质量。
• 通过子采样和空间变换进行数据增强，能有效保留全局形态特征，同时支持鲁棒的自监督预训练。
• 该模型在不同物种（小鼠和人类）及多个脑区之间均表现出良好的泛化能力，证明了其对生物和结构变异的鲁棒性。