[论文解读] Towards an All-Purpose Content-Based Multimedia Information Retrieval System

Ralph Gasser, Luca Rossetto+1 more|edoc (University of Basel)|Feb 11, 2019

Advanced Image and Video Retrieval Techniques参考文献 76被引用 4

一句话总结

本文提出 vitrivr，一个开源的、通用的内容驱动多媒体检索系统，通过单一可扩展的架构统一支持图像、音频、视频和3D模型的检索。通过集成媒体特定的特征提取与基于 ADAM${}_{\textrm{pro}}$ 的 k-NN 搜索，vitrivr 实现了跨模态相似性搜索——如基于示例的查询（Query-by-Example）和基于草图的查询（Query-by-Sketch）——在用户研究中表现出极高有效性，成功率达到最高 100%，且在某些任务中均 reciprocally rank (MRR) 值达到 1.0。

ABSTRACT

The growth of multimedia collections - in terms of size, heterogeneity, and variety of media types - necessitates systems that are able to conjointly deal with several forms of media, especially when it comes to searching for particular objects. However, existing retrieval systems are organized in silos and treat different media types separately. As a consequence, retrieval across media types is either not supported at all or subject to major limitations. In this paper, we present vitrivr, a content-based multimedia information retrieval stack. As opposed to the keyword search approach implemented by most media management systems, vitrivr makes direct use of the object's content to facilitate different types of similarity search, such as Query-by-Example or Query-by-Sketch, for and, most importantly, across different media types - namely, images, audio, videos, and 3D models. Furthermore, we introduce a new web-based user interface that enables easy-to-use, multimodal retrieval from and browsing in mixed media collections. The effectiveness of vitrivr is shown on the basis of a user study that involves different query and media types. To the best of our knowledge, the full vitrivr stack is unique in that it is the first multimedia retrieval system that seamlessly integrates support for four different types of media. As such, it paves the way towards an all-purpose, content-based multimedia information retrieval system.

研究动机与目标

• 解决在大规模异构多媒体集合中基于关键词的媒体检索所存在的局限性。
• 克服现有内容驱动检索系统仅能单一处理一种媒体类型所带来的信息孤岛问题。
• 设计并实现一个统一的、可扩展的多媒体检索架构，支持四种媒体类型之间的跨模态相似性搜索。
• 通过涵盖多种查询类型与媒体模态的综合性用户研究，评估系统的有效性。
• 通过提供一个开源框架，为未来研究在多种模态上测试新型检索技术奠定基础。

提出的方法

• 利用 ADAM${}_{\textrm{pro}}$ 实现高维向量空间中高效 k-最近邻搜索。
• 扩展 Cineast，新增 14 个针对图像、音频和 3D 模型的特征模块，实现基于内容的索引与检索。
• 支持多种查询模式，包括所有四种媒体类型的基于示例的查询（QbE）和基于草图的查询（QbS）。
• 采用媒体特定的特征提取技术：图像使用 SIFT/VLAD，音频使用音高/旋律特征，3D 模型使用球谐函数。
• 开发基于 Web 的用户界面，支持在混合媒体集合中进行多模态、交互式搜索与浏览。
• 通过兼容 TensorFlow 的层实现深度学习集成，便于未来模型的部署与实验。

实验结果

研究问题

• RQ1 一个单一的统一系统能否有效支持四种不同媒体类型（图像、音频、视频和 3D 模型）的内容驱动检索？
• RQ2 当应用于异构多媒体集合时，跨模态相似性搜索（如 QbE 和 QbS）的有效性如何？
• RQ3 不同查询模态（例如草图与示例图像）在多大程度上影响检索成功率与排序质量？
• RQ4 多种特征类型（如颜色、形状、音频音高、3D 几何）的集成在多大程度上影响检索性能？
• RQ5 在真实世界评估环境中，该系统能否在多样化的用户任务与媒体类型下保持高可用性与有效性？

主要发现

• 在 3D 模型的基于示例查询任务中，系统实现了 100% 的成功率与 1.0 的均 reciprocally rank (MRR) 值，表明在提供相关示例时检索性能达到完美。
• 针对 3D 模型草图的基于草图查询任务中，成功率分别为 69% 和 100%，MRR 值分别为 0.69 和 1.0，表明在草图检索方面表现强劲。
• 音频基于示例查询的成功率为 69%，MRR 值为 0.69，表明实现了有效的基于内容的音频检索。
• 3D 模型基于草图查询任务的 p@15 值为 0.26 和 0.34，表明也检索到了部分相关性较弱的项目，且 NDCG@15 与用户评分具有良好一致性。
• 系统的性能因物体类别而异，先前研究已报告球谐函数特征在某些 3D 模型类别上表现较差。
• 用户完成基于草图查询任务平均需 2.8 至 4.5 次查询，表明交互成本适中；而基于示例查询任务效率更高，成功率也更高。