[论文解读] Relevance Feedback in Conceptual Image Retrieval: A User Evaluation

José Manuel Torres, Luís Paulo Reis|ArXiv.org|Sep 28, 2008

Image Retrieval and Classification Techniques参考文献 17被引用 7

一句话总结

本文評估了 VOIR 系統中的基於區域的相關性反饋，該系統是一種概念性影像檢索框架，透過加權關聯將文字同義詞詞彙與視覺區域結合。在 VOIR 的三種變體上進行的使用者評估顯示，整合區域層級相關性反饋顯著提升了檢索品質，並發現了新的文字-影像關聯，表現優於未使用反饋或僅使用視覺反饋的版本。

ABSTRACT

The Visual Object Information Retrieval (VOIR) system described in this paper implements an image retrieval approach that combines two layers, the conceptual and the visual layer. It uses terms from a textual thesaurus to represent the conceptual information and also works with image regions, the visual information. The terms are related with the image regions through a weighted association enabling the execution of concept-level queries. VOIR uses region-based relevance feedback to improve the quality of the results in each query session and to discover new associations between text and image. This paper describes a user-centred and task-oriented comparative evaluation of VOIR which was undertaken considering three distinct versions of VOIR: a full-fledge version; one supporting relevance feedback only at image level; and a third version not supporting relevance feedback at all. The evaluation performed showed the usefulness of region based relevance feedback in the context of VOIR prototype.

研究动机与目标

• 評估相關性反饋在提升概念性影像檢索品質方面的有效性。
• 比較 VOIR 系統的不同配置：完整功能版本、僅影像層級反饋版本，以及無反饋版本。
• 評估不同層級反饋整合下使用者的表現與滿意度。
• 探討相關性反饋如何在任務導向環境中提升文字-影像關聯的發現能力。
• 驗證基於區域的反饋在優化搜尋結果與擴展語義關聯方面的實用性。

提出的方法

• VOIR 系統透過文字同義詞詞彙的觀念層與基於影像區域的視覺層整合而成。
• 文字詞彙透過加權關聯連結至影像區域，以支援概念層級的查詢。
• 基於區域的相關性反饋透過允許使用者根據其判斷的相關或不相關影像區域來精煉查詢而實施。
• 評估了 VOIR 的三種版本：具備雙重反饋的完整系統、僅影像層級反饋的版本，以及無反饋的版本。
• 進行了以使用者為中心、任務導向的評估，以比較三種配置下的系統表現。
• 利用反饋迭代改進檢索結果，並發現文字詞彙與影像區域之間的新關聯。

实验结果

研究问题

• RQ1 基於區域的相關性反饋是否顯著提升 VOIR 系統中的檢索準確性？
• RQ2 在影像區域層級加入相關性反饋，與僅在視覺層級反饋或完全無反饋相比，表現如何？
• RQ3 相關性反饋在多大程度上有助於在概念性影像檢索中發現新的文字-影像關聯？
• RQ4 使用者在任務導向的檢索情境中如何看待並與反饋機制互動？
• RQ5 反饋機制是否能提升系統在初始查詢表現之外進一步優化結果的能力？

主要发现

• 具備基於區域相關性反饋的完整功能 VOIR 版本在三種配置中表現最佳。
• 使用者表示，使用基於區域的反饋後，檢索結果品質提升，對搜尋結果的信心也增加。
• 系統透過反饋成功發現了新的文字-影像關聯，隨時間推移提升了語義涵蓋範圍。
• 僅具備影像層級反饋的版本表現優於無反饋版本，但仍不如具備概念性反饋的完整系統。
• 使用者評估確認，相關性反饋顯著提升了概念性影像檢索任務中的精確度與使用者滿意度。
• 觀念與視覺反饋層的整合，比單獨使用任一反饋機制更為有效。