[论文解读] Seeing the Intangible: Survey of Image Classification into High-Level and Abstract Categories

Delfina Sol Martinez Pandiani, Valentina Presutti|arXiv (Cornell University)|Aug 21, 2023

Advanced Image and Video Retrieval TechniquesComputer Science被引用 3

一句话总结

本综述系统性地回顾了计算机视觉领域中从静态图像检测抽象社会概念（ASCs）的研究，如情绪、价值观和意识形态，通过分析其语义、认知和视觉表征。研究识别出关键任务与聚类，如视觉情感分析、社会信号处理和视觉修辞，表明尽管显式ASC检测较为罕见，但许多现有的计算机视觉任务隐含地处理高层次视觉理解，揭示了在抽象概念识别方面专门研究的显著空白。

ABSTRACT

The field of Computer Vision (CV) is increasingly shifting towards ``high-level'' visual sensemaking tasks, yet the exact nature of these tasks remains unclear and tacit. This survey paper addresses this ambiguity by systematically reviewing research on high-level visual understanding, focusing particularly on Abstract Concepts (ACs) in automatic image classification. Our survey contributes in three main ways: Firstly, it clarifies the tacit understanding of high-level semantics in CV through a multidisciplinary analysis, and categorization into distinct clusters, including commonsense, emotional, aesthetic, and inductive interpretative semantics. Secondly, it identifies and categorizes computer vision tasks associated with high-level visual sensemaking, offering insights into the diverse research areas within this domain. Lastly, it examines how abstract concepts such as values and ideologies are handled in CV, revealing challenges and opportunities in AC-based image classification. Notably, our survey of AC image classification tasks highlights persistent challenges, such as the limited efficacy of massive datasets and the importance of integrating supplementary information and mid-level features. We emphasize the growing relevance of hybrid AI systems in addressing the multifaceted nature of AC image classification tasks. Overall, this survey enhances our understanding of high-level visual reasoning in CV and lays the groundwork for future research endeavors.

研究动机与目标

• 为解决计算机视觉中关于抽象社会概念（ASCs）自动检测的研究稀缺问题。
• 识别并聚类那些隐含处理ASCs的高层次视觉理解任务，如情绪、价值观和意识形态。
• 提供一个整合计算机科学、视觉研究和认知科学的多学科框架，以理解图像中的抽象概念。
• 映射现有计算机视觉工作在ASCs上的语义类别、任务、数据集和神经网络方法。
• 突出ASC检测在文化遗产、多媒体检索和交互系统等应用中的潜力。

提出的方法

• 对计算机视觉研究中隐含或显式处理静态图像中抽象社会概念的工作进行系统性文献回顾。
• 将高层次视觉语义划分为五个聚类：事件理解、视觉情感分析、美学分析、社会信号处理和视觉修辞分析。
• 使用结合计算机视觉、认知科学和视觉研究的多学科视角，分析每个聚类中的语义元素和任务。
• 映射ASC相关任务中使用的现有数据集和深度学习模型，识别数据和方法论方面的空白。
• 运用认知理论（如“词语作为工具”理论）将抽象概念的概念框架建立在人类感知和社会认知基础上。
• 根据其对感知特征、社会语境和文化编码的关注，对相关工作进行聚类与比较，尤其关注语义内涵（Barthes）。

Figure 1. Visual understanding has been previously conceptualized as a multilayered process, in which three main levels of semantics can be identified. The low-level is generally connected to raw or primitive features; the mid-level is generally connected with individual objects, persons, and region

实验结果

研究问题

• RQ1 哪些高层次视觉理解的语义元素与静态图像中的抽象社会概念相对应？
• RQ2 哪些计算机视觉任务隐含或显式地处理抽象社会概念的检测，其结构如何？
• RQ3 现有数据集和神经网络架构在多大程度上支持或限制了图像中抽象概念的识别？
• RQ4 由于缺乏独特的感知指涉物和文化差异性，检测抽象概念面临的主要挑战是什么？
• RQ5 来自认知科学和视觉研究的多学科视角如何改善ASC检测系统的设计？

主要发现

• 尽管抽象概念检测是实现完整图像理解的核心，计算机视觉领域仍缺乏针对显式抽象概念检测的专门研究。
• 许多现有计算机视觉任务——如视觉情感分析、社会信号处理和视觉修辞——隐含地处理抽象社会概念，尤其是情绪和社会价值观。
• 像自由、消费主义或种族主义这样的抽象概念缺乏感知上的边界，依赖于文化编码特征，使得标准计算机视觉方法难以检测。
• 由于抽象概念依赖于低层次且模糊的特征，并且在个体和文化间解释差异较大，语义鸿沟在这些概念上被进一步加剧。
• 社会信号处理任务，如在群体图像中检测领导力或社会凝聚力，代表了隐式ASC检测的一个快速增长领域，具有实际应用价值。
• 尽管图像分类和生成技术已取得进展，但抽象概念的自动识别仍发展不足，表明在高层次视觉理解方面存在关键的研究空白。

Figure 2. Top of the semantic pyramid. The dark blue refers to ”high level semantics” as a whole. Based on a multidisciplinary investigation of the kinds of semantic entities that have been placed within this upper layer of semantics, four clusters of knowledge have been identified.