[论文解读] PinView: Implicit Feedback in Content-Based Image Retrieval

Zakria Hussain, Arto Klami+7 more|arXiv (Cornell University)|Oct 2, 2014

Image Retrieval and Classification Techniques参考文献 40被引用 7

一句话总结

PinView 是一种基于内容的图像检索系统，通过利用眼动追踪的隐式反馈和点击的显式反馈来推断用户意图，并动态调整图像相似度度量。该系统采用多核学习与一种探索-利用算法（LinRel），在在线用户实验中表现优于基线方法，其中结合眼动与点击反馈的检索性能最佳。

ABSTRACT

This paper describes PinView, a content-based image retrieval system that exploits implicit relevance feedback collected during a search session. PinView contains several novel methods to infer the intent of the user. From relevance feedback, such as eye movements or pointer clicks, and visual features of images, PinView learns a similarity metric between images which depends on the current interests of the user. It then retrieves images with a specialized online learning algorithm that balances the tradeoff between exploring new images and exploiting the already inferred interests of the user. We have integrated PinView to the content-based image retrieval system PicSOM, which enables applying PinView to real-world image databases. With the new algorithms PinView outperforms the original PicSOM, and in online experiments with real users the combination of implicit and explicit feedback gives the best results.

研究动机与目标

• 通过从隐式和显式反馈中推断用户意图，解决基于内容的图像检索中的语义鸿沟问题。
• 开发一种系统，能够根据用户搜索会话中的行为动态学习个性化的图像相似度度量。
• 通过在线学习平衡新图像的探索与已推断出的用户偏好的利用。
• 评估隐式反馈（注视）与显式反馈（点击）及其组合在真实世界检索场景中的有效性。

提出的方法

• 使用眼动追踪数据和鼠标点击作为隐式和显式的相关性信号，以推断用户在图像搜索过程中的兴趣。
• 采用带张量投影的多核学习（MKL），从视觉特征（颜色、纹理、边缘）中学习定制化、用户特定的图像相似度度量。
• 采用 LinRel 算法实现在线探索-利用，平衡新图像的发现与已推断出的相关图像的检索。
• 将 PinView 系统集成到 PicSOM（一种基于内容的图像检索框架）中，实现真实环境下的部署。
• 利用低层次视觉特征，并通过 MKL 将其组合，以捕捉当前用户会话中与图像相似性相关的多样化方面。
• 使用注视时长和注视模式作为隐式反馈信号，假设较长的注视时间表示更高的相关性。

实验结果

研究问题

• RQ1 与随机浏览相比，眼动的隐式反馈是否能有效提升基于内容的图像检索性能？
• RQ2 在图像检索任务中，基于注视的隐式反馈性能与点击的显式反馈相比如何？
• RQ3 结合隐式（注视）和显式（点击）反馈是否能获得优于单独使用任一模态的检索结果？
• RQ4 该系统的自适应相似度度量在多大程度上提升了检索准确率，相较于静态或非自适应方法？
• RQ5 用户界面设计和数据特征在多大程度上影响了隐式反馈在真实世界图像检索中的有效性？

主要发现

• 在离线和在线实验中，注视的隐式反馈均优于随机图像选择，表明注视模式是相关性信号的可行来源。
• 点击的显式反馈性能显著优于仅使用注视的反馈（p = 0.046），但仅使用注视的反馈仍优于随机选择。
• 结合注视和点击反馈的模态取得了最高的检索性能，与仅使用注视反馈相比，p 值为 0.0065，表明具有统计显著性。
• 在在线实验中，结合模态的性能优于仅使用点击反馈（p = 0.059），表明真实用户反馈比模拟反馈更准确。
• 基于注视的反馈平均可检索到组合模态最佳性能所获相关图像的 67%，表明其表现强劲但尚未达到最优。
• 系统在在线环境中的表现优于离线模拟，表明真实用户行为提供了更可靠的反馈信号。