[论文解读] Semantic Analysis of (Reflectional) Visual Symmetry: A Human-Centred Computational Model for Declarative Explainability

Jakob Suchan, Mehul Bhatt+3 more|arXiv (Cornell University)|May 31, 2018

Image Retrieval and Classification Techniques参考文献 24被引用 3

一句话总结

本文提出了一种以人为中心的计算模型，用于对自然场景中的反射对称性进行语义分析，通过整合知识表示、基于深度学习的视觉技术与定性推理，实现声明式、可解释的解读。该框架生成可查询的、关系型结构以表征对称性感知，并通过实证验证显示出与人类感知判断的高度一致性。

ABSTRACT

We present a computational model for the semantic interpretation of symmetry in naturalistic scenes. Key features include a human-centred representation, and a declarative, explainable interpretation model supporting deep semantic question-answering founded on an integration of methods in knowledge representation and deep learning based computer vision. In the backdrop of the visual arts, we showcase the framework's capability to generate human-centred, queryable, relational structures, also evaluating the framework with an empirical study on the human perception of visual symmetry. Our framework represents and is driven by the application of foundational, integrated Vision and Knowledge Representation and Reasoning methods for applications in the arts, and the psychological and social sciences.

研究动机与目标

• 开发一种计算模型，以实现对自然场景中视觉对称性的声明式、可解释性解读。
• 整合视觉与知识表示方法，对对称性进行语义层面的分析，其基础为人感知。
• 支持视觉媒体研究、美学、文化遗产和心理研究中以人为中心的应用。
• 通过定性用户研究和对称性刺激的感知排序，评估模型与人类感知的一致性。

提出的方法

• 该模型结合基于深度学习的视觉特征提取与符号化知识表示，以表征视觉空间关系。
• 采用空间、特征层级和语义相似性的混合定性-定量表示，以声明式方式刻画对称性。
• 基于关系型本体结构，以空间构图、物体相似性及语义上下文来编码对称性。
• 通过在集成的视觉与语义特征上进行声明式推理，支持可查询、可解释的输出。
• 该框架模块化且可扩展，支持集成新的视觉计算原语与相似性度量方法。
• 通过在线调查进行实证验证，人类受试者使用定性区分对对称性感知进行排序。

实验结果

研究问题

• RQ1 如何以与人类感知和推理一致的方式，对自然场景中的视觉对称性进行语义解读？
• RQ2 空间构图、特征相似性与语义上下文在人类对反射对称性的感知中起什么作用？
• RQ3 计算模型如何在不完全依赖数学对称性的情况下，实现对称性的声明式、可解释性解读？
• RQ4 该模型的输出在多大程度上与人类在艺术与电影图像中对对称性的感知判断相一致？
• RQ5 此类模型如何扩展至运动图像与叙事媒体中的时空对称性分析？

主要发现

• 该模型成功生成了以人为中心、可查询的关系型结构，能够以语义深度表征视觉刺激中的反射对称性。
• 实证评估显示，该模型对对称性的解读与人类对刺激的感知排序高度一致。
• 空间、特征层级与语义相似性的整合显著提升了模型在几何对称性之外解释对称性感知的能力。
• 该框架在文化遗产、视觉媒体分析以及视觉感知心理研究中的应用具有可行性。
• 该模型具有可扩展性，并支持未来与电影与动画中时空对称性分析的集成。