[论文解读] Multi-task Learning for Macromolecule Classification, Segmentation and Coarse Structural Recovery in Cryo-Tomography

Chang Liu, Xiangrui Zeng+3 more|PubMed|May 16, 2018

Advanced Electron Microscopy Techniques and Applications参考文献 21被引用 10

一句话总结

该论文提出DSM-Net，一种新颖的3D卷积神经网络，通过多任务学习在冷冻电子断层成像（CECT）亚断层图中联合执行大分子分类、语义分割和粗略结构恢复。通过跨任务共享特征，该模型在单任务基线基础上提升了分类与分割的准确性，并展现出对新型未见大分子结构（如GroEL，PDB: 1KP8）的泛化能力，结构恢复的傅里叶壳相关性（FSC）得分为5.0。

ABSTRACT

Cellular Electron Cryo-Tomography (CECT) is a powerful 3D imaging tool for studying the native structure and organization of macromolecules inside single cells. For systematic recognition and recovery of macromolecular structures captured by CECT, methods for several important tasks such as subtomogram classification and semantic segmentation have been developed. However, the recognition and recovery of macromolecular structures are still very difficult due to high molecular structural diversity, crowding molecular environment, and the imaging limitations of CECT. In this paper, we propose a novel multi-task 3D convolutional neural network model for simultaneous classification, segmentation, and coarse structural recovery of macromolecules of interest in subtomograms. In our model, the learned image features of one task are shared and thereby mutually reinforce the learning of other tasks. Evaluated on realistically simulated and experimental CECT data, our multi-task learning model outperformed all single-task learning methods for classification and segmentation. In addition, we demonstrate that our model can generalize to discover, segment and recover novel structures that do not exist in the training data.

研究动机与目标

• 解决细胞冷冻电子断层成像（CECT）数据中信号噪声比低、缺失扇区效应及结构多样性带来的挑战。
• 克服级联单任务学习流水线在亚断层图分析中的局限性，这些方法计算成本高且缺乏特征共享。
• 开发一种统一的深度学习框架，实现在亚断层图中同时进行分类、分割与粗略结构恢复。
• 评估模型在训练数据中未包含的新大分子结构上的泛化能力。
• 将结构恢复重构为监督图像重建任务，以增强分割与分类的特征学习。

提出的方法

• 提出DSM-Net，一种具有共享主干网络的3D卷积神经网络，用于特征提取，并通过三个并行子网络分别实现分类、分割与结构恢复。
• 采用共享的编码器-解码器架构并引入跳跃连接，以保留空间细节并支持多尺度特征学习。
• 将结构恢复作为辅助任务，通过归纳迁移提升分割与分类性能。
• 采用多任务损失函数，结合交叉熵用于分类、二值交叉熵用于分割，以及均方误差用于结构重建。
• 在潜在特征上应用T-SNE与k-means聚类，以检测并可视化训练集中未包含的新结构。
• 利用全连接层输出的1024维特征作为不变结构嵌入，用于聚类与未见大分子的发现。

实验结果

研究问题

• RQ1 与单任务学习相比，多任务3D卷积神经网络框架是否能联合提升CECT亚断层图中分类与分割的性能？
• RQ2 将粗略结构恢复作为辅助任务是否可通过特征共享提升分类与分割的性能？
• RQ3 模型能否检测并恢复训练数据中未包含的结构，如GroEL（PDB: 1KP8）？
• RQ4 当在一组多样但不完整的分子类别上进行训练时，模型对新结构的泛化能力如何？
• RQ5 共享主干网络学习到的特征在多大程度上可通过潜在表示聚类实现新结构类别的发现？

主要发现

• DSM-Net在模拟与实验的CECT数据集上，均显著优于单任务基线模型在分类与分割任务中的表现。
• 将结构恢复作为辅助任务通过归纳迁移与共享特征学习，提升了分割与分类的准确性。
• 模型通过分类子网络的潜在特征聚类，成功发现了训练数据中不存在的GroEL结构（PDB: 1KP8）。
• T-SNE可视化结果表明，GroEL亚断层图形成了一个与其他结构明显分离的密集簇，表明特征学习有效。
• GroEL的恢复结构获得了5.0的傅里叶壳相关性（FSC）得分，表明尽管为粗略重建，仍具备合理的结构保真度。
• 模型对噪声与缺失扇区效应表现出鲁棒性，在不同信噪比的测试数据中均保持稳定性能。