[论文解读] Quick Annotator: an open-source digital pathology based rapid image annotation tool

Runtian Miao, Róbert Tóth+3 more|arXiv (Cornell University)|Jan 6, 2021

AI in cancer detection参考文献 5被引用 4

一句话总结

Quick Annotator 是一款开源的基于网络的工具，通过结合实时用户交互与主动深度学习，加速数字病理学图像的标注。当用户标注感兴趣区域时，模型会迭代式地重新训练并应用于建议分割，从而在全切片图像中对三种组织学结构实现 39 倍至 102 倍的标注速度提升，同时保持 F-scores 超过 0.95。

ABSTRACT

Image based biomarker discovery typically requires an accurate segmentation of histologic structures (e.g., cell nuclei, tubules, epithelial regions) in digital pathology Whole Slide Images (WSI). Unfortunately, annotating each structure of interest is laborious and often intractable even in moderately sized cohorts. Here, we present an open-source tool, Quick Annotator (QA), designed to improve annotation efficiency of histologic structures by orders of magnitude. While the user annotates regions of interest (ROI) via an intuitive web interface, a deep learning (DL) model is concurrently optimized using these annotations and applied to the ROI. The user iteratively reviews DL results to either (a) accept accurately annotated regions, or (b) correct erroneously segmented structures to improve subsequent model suggestions, before transitioning to other ROIs. We demonstrate the effectiveness of QA over comparable manual efforts via three use cases. These include annotating (a) 337,386 nuclei in 5 pancreatic WSIs, (b) 5,692 tubules in 10 colorectal WSIs, and (c) 14,187 regions of epithelium in 10 breast WSIs. Efficiency gains in terms of annotations per second of 102x, 9x, and 39x were respectively witnessed while retaining f-scores >.95, suggesting QA may be a valuable tool for efficiently fully annotating WSIs employed in downstream biomarker studies.

研究动机与目标

• 解决数字病理学图像分析中耗时的手动标注这一关键瓶颈。
• 减少为生物标志物发现而标注大规模全切片图像（WSIs）所需的人力与时间。
• 实现在细胞核、小管和上皮区域等组织学结构上的高效、可扩展且精确的分割。
• 通过将主动学习与交互式用户反馈相结合，在标注过程中迭代改进模型预测。
• 提供免费可用的开源解决方案，以实现病理学研究中高效标注工具的普及化。

提出的方法

• 利用基于网络的界面，实现用户在全切片图像中对感兴趣区域（ROIs）进行直观的实时标注。
• 采用深度学习（DL）模型，通过用户新标注的数据实时进行联合训练与更新。
• 将更新后的模型实时应用于预测分割结果，为用户提供建议以供审阅与修正。
• 支持迭代优化：用户可接受正确预测或修正错误，从而进一步提升模型未来建议的准确性。
• 利用反馈回路，将用户修正立即整合进模型的训练过程，从而随时间推移持续提升准确性。
• 通过智能且不断演化的模型预测，减少重复的手动标注，从而优化标注效率。

实验结果

研究问题

• RQ1 与纯手动方法相比，交互式、基于网络的标注系统是否能显著减少标注全切片图像中组织学结构所需的时间？
• RQ2 将主动学习与实时用户反馈相结合，能在多大程度上提升标注效率与模型准确性？
• RQ3 在实现显著提升标注吞吐量的同时，该系统是否能保持高水平的分割性能（例如，F-score >0.95）？
• RQ4 该工具在不同组织类型中的多种组织学结构（如细胞核、小管、上皮组织）上表现如何？
• RQ5 该工具的开源特性是否足以支持其在大规模生物标志物发现流程中的广泛采用与集成？

主要发现

• 与纯手动标注相比，Quick Annotator 在 5 张胰腺全切片图像中对 337,386 个细胞核的标注实现了 102 倍的速度提升。
• 在 10 张结直肠全切片图像中对 5,692 个小管的标注实现了 9 倍的速度提升，同时保持 F-score 超过 0.95。
• 在 10 张乳腺全切片图像中对 14,187 个上皮区域的标注，系统实现了 39 倍的效率提升，F-score 超过 0.95。
• 用户修正与模型再训练之间的迭代反馈回路显著提升了模型随时间推移的准确性。
• 该系统在多种组织类型和组织学结构上表现出稳健性能，表明其具有广泛的适用性。
• 开源部署确保了工具的可访问性与可扩展性，可轻松集成至大规模数字病理学研究工作流中。