[论文解读] Semantic Image Search for Robotic Applications

Tomas Kulvičius, Irene Markelić+2 more|arXiv (Cornell University)|Apr 2, 2020

Multimodal Machine Learning Applications被引用 3

一句话总结

本文提出 SIMSEA，一种双模态语义图像搜索方法，通过结合文本语言线索与视觉特征，提升图像搜索精度并解决多义性问题。通过将目标物体与上下文相关的描述词配对（例如，用 'drinking' 描述 'glass'），可减少标准文本搜索带来的无关结果，在大多数情况下实现高于 Google 搜索的精度，尤其在模糊术语上表现更优。

ABSTRACT

Generalization in robotics is one of the most important problems. New generalization approaches use internet databases in order to solve new tasks. Modern search engines can return a large amount of information according to a query within milliseconds. However, not all of the returned information is task relevant, partly due to the problem of polysemes. Here we specifically address the problem of object generalization by using image search. We suggest a bi-modal solution, combining visual and textual information, based on the observation that humans use additional linguistic cues to demarcate intended word meaning. We evaluate the quality of our approach by comparing it to human labelled data and find that, on average, our approach leads to improved results in comparison to Google searches, and that it can treat the problem of polysemes.

研究动机与目标

• 解决基于互联网的图像搜索中的多义性问题，该问题阻碍了机器人泛化能力。
• 通过减少模糊查询带来的无关结果，提升机器人应用中图像搜索结果的精度。
• 开发一种方法，模拟人类语言精炼过程，以在图像搜索中消除词义歧义。
• 利用视觉一致性与语言上下文，实现图像搜索结果的自动清洗。
• 提供一种可扩展的半自动方法，用于为机器人中的物体识别生成高质量训练数据。

提出的方法

• 使用基础词汇与上下文相关的语言线索组合进行多次图像搜索（例如，使用 'drinking glass' 而非仅 'glass'）。
• 利用 PHOW（金字塔直方图词袋）提取视觉特征，以表示图像并用于比较。
• 通过 PHOW 特征向量之间的 Hellinger 距离计算图像间的相似度。
• 基于候选图像在多个子搜索中出现的频率进行排序，假设共现频率越高，相关性越强。
• 将排序得分作为人类相关性的代理指标，过滤掉在多个子搜索中出现不一致的图像。
• 将该方法应用于真实世界类别（如 'apple'、'glass'、'milk'），并与人工标注的相关性及标准 Google 搜索结果进行比较。

实验结果

研究问题

• RQ1 将语言线索与视觉特征结合，能否提升机器人应用中图像搜索的精度？
• RQ2 与标准文本搜索相比，该方法在多大程度上能解决图像搜索中的多义性问题？
• RQ3 所提出的排序机制在多大程度上能反映人类基于相关性的判断？
• RQ4 该方法在不同物体类别中是否表现一致，尤其是那些具有高度歧义的类别？
• RQ5 该方法能否自动生成更干净的训练数据，用于机器人中的物体识别？

主要发现

• SIMSEA 在大多数类别中均优于标准 Google 图像搜索的精度，尤其在 'glass' 和 'apple' 等模糊术语上表现更优。
• 在 'glass' 类别中，SIMSEA 有效过滤掉了 Google 初始结果中 42% 的无关结果（如视力辅助工具、材料等）。
• 该方法在大多数人工受试者中实现了约 0.7 的精度，仅有一名受试者（TP1）导致平均值偏移。
• 由于人类对液体视觉表征的判断存在高度分歧，'milk' 类别表现较差，表明其本身具有内在模糊性。
• 基于子搜索共现频率的排序与人类相关性判断高度相关，验证了其作为相关性代理指标的有效性。
• 通过利用语言上下文，该方法有效减少了多义性结果，展现出在消歧任务中的显著优势。