[论文解读] Visual Affordance and Function Understanding: A Survey

Mohammed Hassanin, Salman Khan+1 more|arXiv (Cornell University)|Jul 18, 2018

Anomaly Detection Techniques and Applications参考文献 161被引用 43

一句话总结

对计算机视觉中的视觉可用性与功能理解的全面综述，涵盖检测、分类、分割、推理、数据集、挑战与未来方向。

ABSTRACT

Nowadays, robots are dominating the manufacturing, entertainment and healthcare industries. Robot vision aims to equip robots with the ability to discover information, understand it and interact with the environment. These capabilities require an agent to effectively understand object affordances and functionalities in complex visual domains. In this literature survey, we first focus on Visual affordances and summarize the state of the art as well as open problems and research gaps. Specifically, we discuss sub-problems such as affordance detection, categorization, segmentation and high-level reasoning. Furthermore, we cover functional scene understanding and the prevalent functional descriptors used in the literature. The survey also provides necessary background to the problem, sheds light on its significance and highlights the existing challenges for affordance and functionality learning.

研究动机与目标

• 定义视觉可用性与功能理解，并说明它们对机器人视觉与场景理解的重要性。
• 总结在可用性检测、分类、分割、推理以及基于可用性的活动理解等方面的最新方法。
• 讨论数据集、挑战和研究空白，以指导未来的视觉可用性研究。
• 强调可用性线索如何提升对象识别、场景解释以及人机交互。

提出的方法

• 对2014–2017年的视觉可用性与功能理解文献进行综述和综合。
• 按子问题对方法进行分类：可用性检测、分类、语义标注和推理。
• 讨论特征工程与特征学习方法，包括传统描述符和深度学习架构。
• 介绍鲁棒可用性学习的挑战以及多源特征融合的考量。

实验结果

研究问题

• RQ1 视觉可用性学习与功能理解的核心任务与子问题有哪些？
• RQ2 哪些数据集、方法和特征已被用于检测、分类、分割和推理可用性？
• RQ3 视觉可用性与功能理解的主要挑战与尚待解决的研究空白有哪些？
• RQ4 可用性如何为活动识别和社会理解等更高层任务提供信息？

主要发现

• 可用性学习整合对象、动作和效果，使场景理解比传统检测更加丰富。
• 将深度学习方法应用于可用性检测与分割，通常将其视为具有多标签输出的对象检测。
• 仍存在多种挑战，包括照明、遮挡、视点、尺度、形变，以及多标签/多对象设置（SOML 与 MOML）。
• 一些研究采用端到端架构同时检测对象和可用性，从而提高训练效率和性能。
• 该综述将可用性学习定位为行动预测、活动识别和具社会意识的场景理解的关键。