[论文解读] Sketch-based Medical Image Retrieval

Kazuma Kobayashi, Lin Gu+13 more|arXiv (Cornell University)|Mar 7, 2023

Image Retrieval and Classification Techniques被引用 6

一句话总结

本文提出了一种基于草图的医学图像检索（SBMIR）系统，通过将图像特征分解为正常与异常成分，使临床医生无需提供示例图像即可检索相关医学图像。用户选择正常解剖结构的模板图像，并在上面草绘病变特征，将这些特征与正常结构融合为查询向量，从而从数据库中检索相似病例，即使在罕见或孤立病例中也能实现高精度检索。

ABSTRACT

The amount of medical images stored in hospitals is increasing faster than ever; however, utilizing the accumulated medical images has been limited. This is because existing content-based medical image retrieval (CBMIR) systems usually require example images to construct query vectors; nevertheless, example images cannot always be prepared. Besides, there can be images with rare characteristics that make it difficult to find similar example images, which we call isolated samples. Here, we introduce a novel sketch-based medical image retrieval (SBMIR) system that enables users to find images of interest without example images. The key idea lies in feature decomposition of medical images, whereby the entire feature of a medical image can be decomposed into and reconstructed from normal and abnormal features. By extending this idea, our SBMIR system provides an easy-to-use two-step graphical user interface: users first select a template image to specify a normal feature and then draw a semantic sketch of the disease on the template image to represent an abnormal feature. Subsequently, it integrates the two kinds of input to construct a query vector and retrieves reference images with the closest reference vectors. Using two datasets, ten healthcare professionals with various clinical backgrounds participated in the user test for evaluation. As a result, our SBMIR system enabled users to overcome previous challenges, including image retrieval based on fine-grained image characteristics, image retrieval without example images, and image retrieval for isolated samples. Our SBMIR system achieves flexible medical image retrieval on demand, thereby expanding the utility of medical image databases.

研究动机与目标

• 解决现有基于内容的医学图像检索（CBMIR）系统在构建查询时需要示例图像的局限性。
• 克服在缺乏相似示例的情况下检索具有罕见或孤立特征（如不常见肿瘤形态或位置）图像的挑战。
• 使临床医生能够通过直观的草图输入方式灵活、按需地检索图像，尤其适用于诊断决策支持场景。
• 开发一种将正常解剖特征与异常病理特征解耦的系统，以支持精确且语义明确的查询构建。
• 通过真实临床用户测试，评估该系统在胶质母细胞瘤和肺癌等多种临床场景下的可用性与有效性。

提出的方法

• 提出一种特征分解框架，将医学图像的潜在表征分离为正常解剖代码（AC）和异常特征分量。
• 使用高斯先验对正常AC进行变分自编码器（VAE）训练，以确保潜在空间的解耦与语义组织性。
• 使用模板图像编码正常解剖结构，该结构作为查询的固定参考。
• 允许用户在模板图像上草绘病变特征（如肿瘤形状、水肿等），这些特征被编码为异常特征。
• 将正常AC与草图生成的异常特征融合为统一的查询向量，用于在参考图像数据库中进行相似性搜索。
• 基于查询向量与参考向量之间的L2距离，通过最近邻搜索检索参考图像，使用nDCG和KL散度评估相关性。

实验结果

研究问题

• RQ1 基于草图的医学图像检索系统是否能有效检索相关图像，而无需提供示例图像？
• RQ2 该系统在检索具有细粒度或罕见病理特征且缺乏相似示例的图像时表现如何？
• RQ3 将特征分解为正常与异常成分在多大程度上提升了检索准确率与用户灵活性？
• RQ4 与传统基于示例的检索相比，临床医生对基于草图查询的可用性与临床相关性有何评价？
• RQ5 该系统能否支持对孤立样本的检索——即具有独特或不常见特征、未出现在训练数据中的病例？

主要发现

• SBMIR系统成功实现了无需示例图像即可检索相关医学图像，克服了传统CBMIR系统的关键局限。
• 在用户测试中，来自不同临床背景的十名医疗专业人员在三种测试场景下均实现了高检索准确率：标准病例、描述性查询和孤立罕见病例。
• 系统在检索具有细粒度特征（如肿瘤大小、位置和水肿范围）的图像方面表现出色，其结果经临床描述验证。
• 对于孤立样本——即训练数据中未出现的不常见特征病例——系统仍保持高检索相关性，表明其对罕见或新发表现形式具有鲁棒性。
• 两步式界面（模板选择 + 草绘）被临床医生评为直观且高效，支持精确且灵活的查询构建。
• 通过nDCG和KL散度进行的定量评估证实，基于特征分解生成的查询向量与临床医生描述的语义意图高度匹配。