[论文解读] Representation-Aggregation Networks for Segmentation of Multi-Gigapixel Histology Images

Abhinav Agarwalla, Muhammad Shaban+1 more|arXiv (Cornell University)|Jul 27, 2017

AI in cancer detection参考文献 9被引用 18

一句话总结

本文提出表示-聚合网络（RANs），通过结合局部特征表示与空间上下文聚合，提升多吉字节组织病理学全切片图像（WSIs）中的肿瘤分割性能。利用卷积神经网络（CNN）进行局部表示，结合CNN或2D-LSTM进行邻近切片间的上下文聚合，RANs显著优于标准的基于切片的CNN，F1得分达到0.83，展现出在捕捉全局肿瘤结构方面更优的性能，同时减少了预测中的不连续性。

ABSTRACT

Convolutional Neural Network (CNN) models have become the state-of-the-art for most computer vision tasks with natural images. However, these are not best suited for multi-gigapixel resolution Whole Slide Images (WSIs) of histology slides due to large size of these images. Current approaches construct smaller patches from WSIs which results in the loss of contextual information. We propose to capture the spatial context using novel Representation-Aggregation Network (RAN) for segmentation purposes, wherein the first network learns patch-level representation and the second network aggregates context from a grid of neighbouring patches. We can use any CNN for representation learning, and can utilize CNN or 2D-Long Short Term Memory (2D-LSTM) for context-aggregation. Our method significantly outperformed conventional patch-based CNN approaches on segmentation of tumour in WSIs of breast cancer tissue sections.

研究动机与目标

• 解决在多吉字节全切片图像（WSIs）中分割肿瘤的挑战，其中标准CNN因计算约束和全局上下文丢失而失效。
• 克服基于切片的方法因建模邻近切片间空间依赖性而牺牲上下文信息的局限性。
• 开发一种通用的深度学习框架，整合表示学习与上下文聚合，以提升大规模组织病理学图像中的分割精度。
• 评估卷积与循环神经网络架构（2D-LSTM）在上下文聚合中捕捉全局肿瘤结构的有效性。

提出的方法

• 使用预训练的CNN（如AlexNet、GoogLeNet、VGGNet、ResNet）从全切片图像（WSI）的单个图像切片中提取高维特征表示。
• 将切片级特征组织为2D网格，以保留空间布局，并支持邻近切片间的上下文建模。
• 对2D网格特征应用上下文聚合网络——采用2D-CNN（RAN-CNN）或2D-LSTM（RAN-LSTM）——利用空间上下文预测每个切片的肿瘤概率。
• 对于RAN-LSTM，使用四个2D-LSTM网络从网格的每个角点沿对角线方向运行，以捕捉长程依赖关系，最终输出通过平均预测结果获得。
• 使用包含28,000个2D网格的平衡数据集进行上下文聚合网络的训练，其中肿瘤阳性与阴性网格数量相等，以缓解类别不平衡问题。
• 采用Adam优化器配合学习率调度与数据增强策略，在单张GPU上训练，特征提取自AlexNet的FC6层。

实验结果

研究问题

• RQ1 是否能够通过深度学习框架在不依赖逐切片处理的前提下，有效建模多吉字节组织病理学全切片图像中的长程空间上下文？
• RQ2 通过2D-LSTM或基于CNN的上下文聚合，是否能提升肿瘤分割性能，相比标准的基于切片的CNN？
• RQ3 不同表示网络（如AlexNet、ResNet）与上下文聚合架构（RAN-CNN与RAN-LSTM）在分割精度与鲁棒性方面有何比较？
• RQ4 上下文聚合在多大程度上减少了预测不连续性，并提升了肿瘤区域分割的连续性？
• RQ5 能否通过接入不同的主干网络与上下文模块，有效将通用的RAN架构适配于组织病理学分割任务？

主要发现

• RANs显著优于标准的基于切片的CNN，F1得分达0.83，而仅使用AlexNet时仅为0.40，证明了上下文聚合的价值。
• 采用两层2D-LSTM的RAN-LSTM达到最高F1得分0.83，优于RAN-CNN变体，因其对全局空间依赖关系建模更优。
• RAN-LSTM生成的肿瘤区域预测更平滑、更连续，不连续性更少，而AlexNet则产生碎片化、类块状的预测结果。
• RAN-CNN变体（5层卷积与Dropout，即RAN-CNN-FC6-5L-D）实现精确率0.81、召回率0.83，F1得分0.82，展现出局部到全局上下文建模的强劲性能。
• RAN-LSTM模型实现精确率0.85与召回率0.81，表明在肿瘤检测中精确率与敏感性之间达到良好平衡。
• 消融实验表明，更深的上下文聚合网络（如双层RAN-LSTM）优于浅层结构，凸显了足够建模能力在上下文建模中的重要性。