[论文解读] Registration of Histopathogy Images Using Structural Information From Fine Grained Feature Maps

Dwarikanath Mahapatra|arXiv (Cornell University)|Jul 4, 2020

AI in cancer detection参考文献 113被引用 9

一句话总结

该论文提出一种自监督方法，通过利用预训练分割网络生成的特征图中的细粒度结构信息，提升组织病理学图像配准性能，无需人工标注。该方法在损失函数中使用基于聚类的伪分割图来提高配准精度，在训练或推理过程中均无需真实分割标签，实现了最先进性能。

ABSTRACT

Registration is an important part of many clinical workflows and factually, including information of structures of interest improves registration performance. We propose a novel approach of combining segmentation information in a registration framework using self supervised segmentation feature maps extracted using a pre-trained segmentation network followed by clustering. Using self supervised feature maps enables us to use segmentation information despite the unavailability of manual segmentations. Experimental results show our approach effectively replaces manual segmentation maps and demonstrate the possibility of obtaining state of the art registration performance in real world cases where manual segmentation maps are unavailable.

研究动机与目标

• 解决在缺乏人工分割标注的情况下，实现组织病理学图像精确配准的挑战。
• 通过整合深度特征中的结构信息，提升配准性能，且不依赖于监督分割。
• 实现在人工标注不可行的真实临床工作流中，配准技术的实用化部署。
• 证明自监督特征图可在配准框架中有效替代真实分割图。

提出的方法

• 利用预训练的语义分割网络，从参考图像和浮动组织病理学图像中提取自监督特征图。
• 对特征图应用聚类（如k-means）以生成表示感兴趣结构的伪分割图。
• 将这些伪分割图之间的结构相似性整合到配准损失函数中，以指导形变场的学习。
• 将原始图像和伪分割图输入基于U-Net的网络，以预测密集形变场。
• 通过空间变换网络（STN）应用形变场，将浮动图像形变以匹配参考图像。
• 端到端训练配准网络，使用组合损失：标准图像相似性损失与基于聚类特征图的结构相似性损失。

实验结果

研究问题

• RQ1 自监督特征图是否能有效替代组织病理学图像配准中的手工分割图？
• RQ2 在缺乏真实标签的情况下，将细粒度特征图中的结构信息整合，如何提升配准精度？
• RQ3 所提方法在无需人工标注的情况下，相较于传统配准基线方法，性能提升程度如何？
• RQ4 对自监督特征进行聚类能否生成有意义的伪结构，从而引导图像的精确对齐？

主要发现

• 所提方法在组织病理学图像对上实现了最先进配准性能，且无需任何人工分割标注。
• 与仅依赖图像强度相似性的基线方法相比，使用聚类后的自监督特征图显著提升了配准精度。
• 基于聚类特征图的结构相似性损失在具有复杂纹理和重复模式的区域中显著增强了对齐效果。
• 该方法在测试时对新图像具有良好的泛化能力，仅需预训练分割网络，无需在新数据上微调。
• 该方法降低了对大量超参数调优和迭代优化的依赖，相比传统配准技术，实现了更快的推理速度。
• 实验结果表明，自监督特征图捕获了足够的结构信息，可有效指导精确的弹性形变估计。