[论文解读] Yottixel -- An Image Search Engine for Large Archives of Histopathology Whole Slide Images

Shivam Kalra, Charles Q. Choi+3 more|arXiv (Cornell University)|Nov 20, 2019

AI in cancer detection参考文献 34被引用 19

一句话总结

Yottixel 是一个用于大规模组织病理学全切片图像（WSI）档案的实时图像搜索引擎，采用一种新颖的“一组条形码”（BoB）索引方法，将 WSI 紧凑地表示为图像块的马赛克。它实现了数百万张图像的高精度、低存储量检索，在 UPMC 和 TCGA 数据集上表现出与人类病理学家高度一致的语义对齐。

ABSTRACT

With the emergence of digital pathology, searching for similar images in large archives has gained considerable attention. Image retrieval can provide pathologists with unprecedented access to the evidence embodied in already diagnosed and treated cases from the past. This paper proposes a search engine specialized for digital pathology, called Yottixel, a portmanteau for "one yotta pixel," alluding to the big-data nature of histopathology images. The most impressive characteristic of Yottixel is its ability to represent whole slide images (WSIs) in a compact manner. Yottixel can perform millions of searches in real-time with a high search accuracy and low storage profile. Yottixel uses an intelligent indexing algorithm capable of representing WSIs with a mosaic of patches by converting them into a small number of methodically extracted barcodes, called "Bunch of Barcodes" (BoB), the most prominent performance enabler of Yottixel. The performance of the prototype platform is qualitatively tested using 300 WSIs from the University of Pittsburgh Medical Center (UPMC) and 2,020 WSIs from The Cancer Genome Atlas Program (TCGA) provided by the National Cancer Institute. Both datasets amount to more than 4,000,000 patches of 1000x1000 pixels. We report three sets of experiments that show that Yottixel can accurately retrieve organs and malignancies, and its semantic ordering shows good agreement with the subjective evaluation of human observers.

研究动机与目标

• 解决在数字病理学大规模全切片图像（WSI）档案中实现高效且准确的图像检索的挑战。
• 在保持高检索精度的同时，降低存储和计算成本，适用于大规模 WSI 数据库。
• 开发一个可扩展的搜索引擎，能够处理拍字节规模的病理图像集合。
• 使病理学家能够从过去诊断和治疗过的样本中检索相似病例，以提供诊断支持。

提出的方法

• Yottixel 将全切片图像（WSI）表示为图像块的马赛克，每个块被处理为紧凑的条形码表示。
• 它采用系统性提取的“一组条形码”（BoB）技术，将 WSI 块中的代表性特征编码为低维、可搜索的格式。
• 该系统使用一种智能索引算法，实现在数百万张 WSI 上的快速相似性搜索，且存储开销极低。
• BoB 表示设计用于保留与器官类型和恶性程度分类相关的语义和形态学特征。
• 通过在 BoB 嵌入向量上使用高效的近似最近邻搜索，该搜索引擎能够实现实时查询，支持大规模 WSI 集合的检索。
• 该框架在两个大规模数据集上进行了评估：UPMC 的 300 张 WSI 和 TCGA 的 2,020 张 WSI，总计超过 400 万张 1000×1000 像素的图像块。

实验结果

研究问题

• RQ1 可扩展的图像搜索引擎是否能在保持低存储和计算成本的同时，实现对组织病理学 WSI 的高精度检索？
• RQ2 检索到的 WSI 的语义排序与人类病理学家对相似性的主观评估有多一致？
• RQ3 “一组条形码”（BoB）表示在不同类型的 WSI 中，对形态学和诊断特征的保留程度如何？
• RQ4 该系统是否能够实现实时搜索，处理大规模 WSI 档案中数百万张图像块？
• RQ5 与基线检索方法相比，Yottixel 在检索精度和效率方面表现如何？

主要发现

• Yottixel 在 UPMC 和 TCGA 的多样化组织病理学 WSI 中，实现了对器官类型和恶性程度的高精度识别。
• 检索图像的语义排序与人类观察者的评估高度一致，表明其具有临床相关的相似性。
• 该系统表现出实时性能，尽管数据规模巨大，仍能高效处理数百万次搜索。
• “一组条形码”（BoB）表示实现了紧凑的索引，存储开销低，同时保留了关键的诊断特征。
• 该原型在超过 400 万张来自 2,320 张 WSI 的图像块上进行了定性验证，证实了其可扩展性和鲁棒性。
• 该方法有效降低了 WSI 数据的维度，同时保持了高检索保真度，实现了快速且准确的搜索。