[论文解读] Siamese LSTM based Fiber Structural Similarity Network (FS2Net) for Rotation Invariant Brain Tractography Segmentation

Shreyas Malakarjun Patil, Aditya Nigam+2 more|arXiv (Cornell University)|Dec 28, 2017

Advanced Neuroimaging Techniques and Applications参考文献 5被引用 7

一句话总结

该论文提出FS2Net，一种孪生LSTM-BiLSTM架构，通过学习纤维结构相似性实现旋转不变的脑纤维追踪分割。通过使用双向LSTM比较纤维对，即使在未配准、旋转的测试数据下，仅使用11,000对训练数据，也能实现最先进水平的准确率（宏平均准确率最高达92.91%）。

ABSTRACT

In this paper, we propose a novel deep learning architecture combining stacked Bi-directional LSTM and LSTMs with the Siamese network architecture for segmentation of brain fibers, obtained from tractography data, into anatomically meaningful clusters. The proposed network learns the structural difference between fibers of different classes, which enables it to classify fibers with high accuracy. Importantly, capturing such deep inter and intra class structural relationship also ensures that the segmentation is robust to relative rotation among test and training data, hence can be used with unregistered data. Our extensive experimentation over order of hundred-thousands of fibers show that the proposed model achieves state-of-the-art results, even in cases of large relative rotations between test and training data.

研究动机与目标

• 开发一种深度学习模型，实现从DTI数据中对脑纤维束进行精确、自动化的分割。
• 解决脑纤维追踪分割中灰质与白质纤维之间数据不平衡的挑战。
• 确保对训练与测试数据之间相对旋转的鲁棒性，从而可应用于未配准的脑扫描数据。
• 在极少量训练数据下实现高性能，提升相对于先前方法的计算效率。
• 在宏观（灰质与白质）和微观（8种白质亚型）两个层级上实现分层分类。

提出的方法

• 采用孪生网络架构，通过共享权重比较纤维束对，学习其结构相似性。
• 使用双向LSTM（Bi-LSTM）捕捉纤维序列中的长程依赖关系和方向性模式。
• 应用基于曲率的剪枝方法，减少纤维长度的变异性，并通过保留高曲率点增强尺度不变性。
• 将纤维束处理为3D点序列，剪枝后保留约75%的点，并通过零填充至固定长度。
• 通过训练纤维对来学习相似性度量，通过聚焦于相对结构模式实现在旋转下的泛化能力。
• 使用对比损失函数优化网络，使相似纤维之间的距离最小化，不相似纤维之间的距离最大化。

实验结果

研究问题

• RQ1 孪生LSTM-BiLSTM架构是否能在保持对训练与测试数据间相对旋转鲁棒性的同时，实现高精度的脑纤维追踪分割？
• RQ2 在数据不平衡条件下，特别是对少数类白质纤维亚型的分类表现如何？
• RQ3 当在一个人或多个受试者上进行训练时，该模型在不同受试者之间（跨脑测试）的泛化能力如何？
• RQ4 该模型是否仅使用11,000对训练数据即可实现最先进性能，显著少于先前方法所用的80,000根纤维？
• RQ5 相较于学习绝对路径模式，学习结构相似性是否能实现纤维分类中的旋转不变性？

主要发现

• 在跨脑测试中（在Brain 2上训练，在Brain 1和Brain 3上测试），FS2Net在宏观层面达到92.91%的准确率，优于先前方法。
• 模型在旋转条件下仍保持高性能，在同脑设置下30°旋转时准确率达到88.03%，展现出强大的旋转不变性。
• 在同脑情况下，白质纤维的召回率达到88.03%，表明尽管仅10%的纤维为白质，模型仍能有效处理数据不平衡问题。
• 该模型仅使用11,000对训练数据即达到最先进性能，显著减少了训练数据量和计算成本，相比先前使用80,000根纤维的方法。
• 在合并脑数据上进行训练时，模型达到88.36%的宏观准确率和85.91%的召回率，显示出在不同受试者间强大的泛化能力。
• 随着旋转角度增加，网络性能保持稳定，仅出现轻微下降，而先前方法（如BrainSegNet）在旋转下性能急剧下降。