[论文解读] Visual Concept Ontology for Image Annotations

Jan Botorek, Petra Budíková+1 more|arXiv (Cornell University)|Nov 28, 2014

Image Retrieval and Classification Techniques参考文献 10被引用 5

一句话总结

本文提出了视觉概念本体（VCO），一个语义知识库，将视觉概念映射到WordNet的同义词集（synsets），以提升基于搜索的图像注释质量。通过整合WordNet的词汇结构与经过筛选、人类可读的视觉概念层级结构——划分为四大超类（自然、人物、物体、抽象）——VCO实现了更准确且语义一致的图像注释，并支持半自动构建评估用的标准真实标签（ground truth）。

ABSTRACT

In spite of the development of content-based data management, text-based searching remains the primary means of multimedia retrieval in many areas. Automatic creation of text metadata is thus a crucial tool for increasing the findability of multimedia objects. Search-based annotation tools try to provide content-descriptive keywords by exploiting web data, which are easily available but unstructured and noisy. Such data need to be analyzed with the help of semantic resources that provide knowledge about objects and relationships in a given domain. In this paper, we focus on the task of general-purpose image annotation and present the VCO, a new ontology of visual concepts developed as a part of image annotation framework. The ontology is linked with the WordNet lexical database, so the annotation tools can easily integrate information from both these resources.

研究动机与目标

• 解决多媒体内容中低质量或缺失的文本元数据问题，该问题阻碍了有效的基于文本的检索。
• 克服现有通用图像注释本体的局限性，这些本体要么过于复杂，要么缺乏关键的语义关系。
• 开发一个面向特定领域的、语义丰富的本体，专为图像中的视觉概念设计，且与自然语言处理工具兼容。
• 通过整合WordNet的语义知识与结构化、人类可读的视觉概念层级，实现更准确且可扩展的图像注释。
• 支持标准化、高质量真实标签的半自动构建，以用于图像注释系统的评估。

提出的方法

• 通过从WordNet的名词同义词集（noun synsets）中提取并优化视觉概念，构建VCO，重点关注与图像内容相关的概念。
• 基于语义相似性和人类可理解性，将VCO组织为包含四个顶层超类的分层分类体系：自然、人物、物体和抽象概念。
• 建立两类关系：类与类之间（如子类/超类关系）以及类与个体之间（通过equivalenceOf和superClassOf关系将VCO类与WordNet同义词集关联）。
• 采用京都本体（Kyoto ontology）的方法建模同义词集到概念的映射，确保语义精确性，并支持与WordNet词汇结构的集成。
• 利用VCO的结构指导基于搜索的注释，通过过滤和丰富来自视觉相似图像的元数据。
• 将VCO应用于将图像数据集（如Profiset）中的自由文本注释转换为标准化的分层类别，以支持真实标签的构建。

实验结果

研究问题

• RQ1 如何通过语义本体提升利用噪声网络元数据进行基于搜索的图像注释的准确性与一致性？
• RQ2 什么样的本体结构能够在语义丰富性、人类可读性与计算可用性之间达到最佳平衡？
• RQ3 与人工或众包方法相比，VCO是否能实现更可靠且可扩展的真实标签构建？
• RQ4 将WordNet与经筛选的视觉概念层级结构结合，能在多大程度上减少歧义并提升图像注释中的概念关联质量？
• RQ5 VCO如何支持分层、多级注释，使用户能够以不同粒度探索图像内容？

主要发现

• VCO提供了一个结构化、人类可读的视觉概念层级，划分为四大超类：自然、人物、物体和抽象概念，显著提升了图像注释的可解释性。
• 通过equivalenceOf和superClassOf关系将VCO类与WordNet同义词集关联，本体实现了与词汇资源的精确语义集成。
• VCO支持分层图像注释，允许用户在不同细节层次上选择注释，从而提升可用性与精确度。
• 本体支持半自动真实标签构建：在Profiset数据集上的应用表明，它能将自由文本注释转换为标准化的分层类别，且具有一致性。
• VCO通过用固定、语义基础的词汇表替代非结构化、可变的词汇，显著减少了评估中的人工注释工作量。
• 最终构建的本体已公开发布于 http://disa.fi.muni.cz/vco，支持在图像注释与检索系统中的复用。