[论文解读] Prospective Study for Semantic Inter-Media Fusion in Content-Based Medical Image Retrieval

Roxana Teodorescu, Daniel Racoceanu+2 more|ArXiv.org|Nov 28, 2008

Image Retrieval and Classification Techniques参考文献 19被引用 8

一句话总结

本文提出了一种用于基于内容的医学图像检索（CBMIR）的语义跨媒体融合框架，利用UMLS元词汇表在概念层面实现医学图像与文本报告的对齐和索引，从而减少语义鸿沟。通过在CLEF和PEIR基准上结合概率、模糊和基于证据的融合技术与相似性函数，该方法在查询处理前通过语义增强实现了更高的检索准确率。

ABSTRACT

One important challenge in modern Content-Based Medical Image Retrieval (CBMIR) approaches is represented by the semantic gap, related to the complexity of the medical knowledge. Among the methods that are able to close this gap in CBMIR, the use of medical thesauri/ontologies has interesting perspectives due to the possibility of accessing on-line updated relevant webservices and to extract real-time medical semantic structured information. The CBMIR approach proposed in this paper uses the Unified Medical Language System's (UMLS) Metathesaurus to perform a semantic indexing and fusion of medical media. This fusion operates before the query processing (retrieval) and works at an UMLS-compliant conceptual indexing level. Our purpose is to study various techniques related to semantic data alignment, preprocessing, fusion, clustering and retrieval, by evaluating the various techniques and highlighting future research directions. The alignment and the preprocessing are based on partial text/image retrieval feedback and on the data structure. We analyze various probabilistic, fuzzy and evidence-based approaches for the fusion process and different similarity functions for the retrieval process. All the proposed methods are evaluated on the Cross Language Evaluation Forum's (CLEF) medical image retrieval benchmark, by focusing also on a more homogeneous component medical image database: the Pathology Education Instructional Resource (PEIR).

研究动机与目标

• 通过整合结构化的医学知识，解决基于内容的医学图像检索（CBMIR）中的语义鸿沟问题。
• 探索使用UMLS元词汇表对医学图像和文本报告进行语义融合，实现实时、按需的语义索引。
• 在标准化的医学图像检索基准上，评估多种融合策略——概率、模糊和基于证据的方法。
• 通过部分反馈和语义数据结构对数据进行预处理和对齐，以提升检索性能。
• 识别语义对齐、聚类和相似性建模在医学多媒体检索中的未来研究方向。

提出的方法

• 利用UMLS元词汇表作为语义基础，将图像和文本内容映射到标准化的医学概念。
• 在概念索引层面执行查询前的语义融合，实现在不同模态间的统一表示。
• 应用部分文本/图像检索反馈，以指导数据预处理和语义对齐。
• 采用多种融合技术：概率、模糊和基于证据的方法，以整合来自不同媒体源的证据。
• 使用多种相似性函数（例如，Jaccard、余弦和基于证据的度量）在检索过程中计算相关性。
• 在CLEF医学图像检索基准和病理学教育教学资源（PEIR）数据库上评估所有方法。

实验结果

研究问题

• RQ1 如何利用标准化医学术语通过语义跨媒体融合减少CBMIR中的语义鸿沟？
• RQ2 在多模态医学检索中，概率、模糊和基于证据的融合方法的性能有何比较？
• RQ3 在真实世界医学图像数据集上，查询前的概念融合在多大程度上提升了检索准确率？
• RQ4 结合反馈驱动的预处理，基于UMLS元词汇表的语义索引在多大程度上有效？
• RQ5 在异构医学媒体中，哪种相似性函数能产生最稳健的检索结果？

主要发现

• 使用UMLS元词汇表进行概念索引，显著减少了低层次特征与临床含义之间的语义鸿沟。
• 在CLEF基准上，基于证据的融合方法在检索精确率和召回率方面优于纯概率和模糊方法。
• 由部分检索反馈引导的预处理提高了对齐准确率，并减少了语义映射中的噪声。
• 病理学教育教学资源（PEIR）数据库提供了一个更同质的测试环境，使融合技术的评估更加清晰。
• 在查询处理前于概念层面进行融合，相比后期融合或特征级匹配，产生了更一致且语义上更有意义的检索结果。
• 本研究强调了实时访问最新医学本体和网络服务对于可扩展、动态CBMIR系统的重要性。