[论文解读] What Looks Good with my Sofa: Multimodal Search Engine for Interior Design

Ivona Tautkutė, Aleksandra Możejko+4 more|arXiv (Cornell University)|Jul 21, 2017

Advanced Image and Video Retrieval Techniques参考文献 29被引用 4

一句话总结

本文提出了一种多模态室内设计搜索引擎，结合视觉和文本查询，以检索与用户沙发或房间在风格和审美上高度相似的家具和装饰品。通过融合基于YOLO-9000和深度特征的视觉搜索，以及基于类似word2vec的嵌入的文本检索，该系统在基线方法基础上将平均风格相似度提高了11%。

ABSTRACT

In this paper, we propose a multi-modal search engine for interior design that combines visual and textual queries. The goal of our engine is to retrieve interior objects, e.g. furniture or wall clocks, that share visual and aesthetic similarities with the query. Our search engine allows the user to take a photo of a room and retrieve with a high recall a list of items identical or visually similar to those present in the photo. Additionally, it allows to return other items that aesthetically and stylistically fit well together. To achieve this goal, our system blends the results obtained using textual and visual modalities. Thanks to this blending strategy, we increase the average style similarity score of the retrieved items by 11%. Our work is implemented as a Web-based application and it is planned to be opened to the public.

研究动机与目标

• 解决纯视觉或纯文本搜索在室内设计中因无法良好捕捉风格和上下文匹配而存在的局限性。
• 开发一种系统，不仅检索视觉上相似的物品，还能检索在审美和风格上与查询对象相匹配的物品。
• 通过在特征空间中采用新颖的融合策略，融合视觉和文本模态，提升检索质量。
• 实现并公开发布一个用于实际应用的基于网络的风格搜索引擎原型。

提出的方法

• 系统使用YOLO-9000对用户上传的房间图像进行目标检测，以定位沙发等关键物品。
• 视觉搜索基于深度神经网络特征（例如预训练CNN的归一化激活）在特征空间中检索物品。
• 文本查询通过嵌入处理，以捕捉语义和风格共现模式，类似于word2vec，从而找到风格兼容的物品。
• 一种特征相似度融合方法通过计算视觉和文本特征空间中的距离，将结果重新排序，整合为统一的排序列表。
• 融合策略使用来自两种模态的加权相似度分数，以提升整体风格相关性。
• 系统实现为基于Flask的网络应用程序，允许用户上传图像或从数据集中选择。

实验结果

研究问题

• RQ1 与单模态方法相比，结合视觉和文本模态是否能提升对在审美和风格上兼容的室内设计物品的检索效果？
• RQ2 在特征空间中的融合策略在提升检索结果的风格相似度方面有多有效？
• RQ3 添加文本上下文（例如“白色”、“北欧风”）在多大程度上能提升检索质量，超越纯视觉搜索？
• RQ4 基于真实房间数据集的联合概率共现度量能否有效量化物品之间的风格兼容性？
• RQ5 在风格相似度方面，与纯视觉搜索和纯文本搜索相比，该多模态系统的性能如何？

主要发现

• 所提出的特征相似度融合方法使检索结果的平均风格相似度得分相比基线纯视觉搜索提高了11%。
• 纯视觉搜索的平均风格相似度得分为0.2295，而融合方法优于该基线。
• 纯文本搜索的得分略低，为0.2243，表明在此任务中，仅使用文本的效果不如视觉搜索。
• 使用检测到的物体类别（例如“沙发”）作为文本查询，已能提升结果质量，显示出文本上下文的价值。
• 添加“白色”或“装饰性”等额外描述词进一步提升了性能，证明了更丰富文本输入的优势。
• 网络应用原型成功展示了系统的功能，计划在用户测试后公开发布。