[论文解读] Personalizing Image Search Results on Flickr

Kristina Lerman, Anon Plangprasopchok+1 more|ArXiv.org|Apr 12, 2007

Image Retrieval and Classification Techniques参考文献 11被引用 45

一句话总结

本文提出两种方法，通过利用用户生成的元数据（包括社交网络联系人和标签注释）来个性化Flickr上的图像搜索结果。通过基于用户联系人或从其标签推断出的潜在主题来过滤搜索结果，该方法显著提高了搜索精度，减少了无关结果，并在信息过载的背景下增强了个性化发现能力。

ABSTRACT

The social media site Flickr allows users to upload their photos, annotate them with tags, submit them to groups, and also to form social networks by adding other users as contacts. Flickr offers multiple ways of browsing or searching it. One option is tag search, which returns all images tagged with a specific keyword. If the keyword is ambiguous, e.g., ``beetle'' could mean an insect or a car, tag search results will include many images that are not relevant to the sense the user had in mind when executing the query. We claim that users express their photography interests through the metadata they add in the form of contacts and image annotations. We show how to exploit this metadata to personalize search results for the user, thereby improving search performance. First, we show that we can significantly improve search precision by filtering tag search results by user's contacts or a larger social network that includes those contact's contacts. Secondly, we describe a probabilistic model that takes advantage of tag information to discover latent topics contained in the search results. The users' interests can similarly be described by the tags they used for annotating their images. The latent topics found by the model are then used to personalize search results by finding images on topics that are of interest to the user.

研究动机与目标

• 为解决图像搜索中的信息过载问题，通过使用用户生成的元数据来个性化搜索结果。
• 通过利用用户的社交网络和标签行为作为个人摄影兴趣的指标，提高搜索精度。
• 开发一个概率模型，从用户标签中推断潜在主题，以指导个性化图像推荐。
• 评估基于联系人和基于标签的过滤在提升搜索结果相关性方面的有效性。
• 探索将多种元数据源（标签、联系人、群组）整合以用于未来个性化系统。

提出的方法

• 通过用户联系人或扩展社交网络（联系人的联系人）过滤标签搜索结果，假设来自可信用户的照片更具相关性。
• 使用概率生成模型，从标签与用户注释在图像上的共现关系中推断潜在主题。
• 将用户兴趣建模为潜在主题上的概率分布，其中每个主题对应用户标记图像中的一个重复主题。
• 应用期望最大化（EM）算法，在部分观测到的用户-标签-图像数据上训练概率模型。
• 扩展作者-主题模型，以整合群组信息，提升从用户标记图像中发现主题的能力。
• 结合基于联系人的过滤与基于主题的过滤，通过同时利用社交信任和内容相似性来增强个性化。

实验结果

研究问题

• RQ1 通过用户社交联系人过滤图像搜索结果是否能提高Flickr上的搜索精度？
• RQ2 能否利用从用户标记图像中推断出的潜在主题，比单纯基于关键词的过滤更有效地个性化搜索结果？
• RQ3 在精度和相关性方面，基于联系人和基于标签的个性化方法有何差异？
• RQ4 概率模型能否有效从部分标记行为和群组成员身份中推断用户兴趣？
• RQ5 无信息量的群组和通用标签在主题建模中起什么作用？如何有效过滤掉它们？

主要发现

• 通过用户联系人或扩展社交网络过滤搜索结果，能显著提高搜索精度，减少无关结果。
• 基于标签的方法（从用户标签行为推断潜在主题）的精度高于标准标签搜索，尤其在处理模糊查询时表现更优。
• 概率模型成功从用户标记图像中识别出连贯的主题，如“动物园动物”或“望远镜头摄影”，这些主题与用户兴趣高度一致。
• 结合基于联系人和基于主题的过滤优于单独使用任一方法，表明社交信任与内容相关性具有互补优势。
• 该方法能有效扩展搜索，建议相关关键词（如“大型猫科动物”对应“老虎”），从而在原始查询之外增强发现能力。
• 发现无信息量的群组（如“让我们来玩捉迷藏”）会干扰主题建模，表明需要自动识别并过滤此类群组。