[论文解读] Towards Grounding Conceptual Spaces in Neural Representations

Lucas Bechberger, Kai‐Uwe Kühnberger|arXiv (Cornell University)|Jun 15, 2017

Neural Networks and Applications参考文献 15被引用 3

一句话总结

本文提出将概念空间维度基于InfoGAN学习的潜在表征进行定位，从而实现在视觉任务中无监督发现感知领域（如形状）的概念。通过神经特征提取器将感官输入映射到概念空间中的点，并利用聚类定义概念，该方法实现了无监督概念学习与增量更新，且无需标注数据。

ABSTRACT

The highly influential framework of conceptual spaces provides a geometric way of representing knowledge. It aims at bridging the gap between symbolic and subsymbolic processing. Instances are represented by points in a high-dimensional space and concepts are represented by convex regions in this space. In this paper, we present our approach towards grounding the dimensions of a conceptual space in latent spaces learned by an InfoGAN from unlabeled data.

研究动机与目标

• 为解决概念空间需要手工设计维度的局限性，通过学习的神经表征来定位概念空间维度。
• 利用深度生成模型实现无监督学习感知领域（尤其是形状等复杂领域）的概念。
• 将神经特征提取器与概念空间框架结合，构建混合的符号-非符号表示系统。
• 提出一种基于聚类的方法，实现在无监督条件下发现并增量更新概念空间中的概念。
• 证明InfoGAN的解耦潜在空间可作为可解释的概念表征领域。

提出的方法

• 使用InfoGAN从无标注数据中学习解耦且可解释的潜在表征，尤其适用于形状等视觉领域。
• 从训练好的InfoGAN判别器中提取潜在码，作为概念空间维度中的坐标。
• 使用固定的特征提取器（如HSB用于颜色，InfoGAN用于形状）将感知输入（如图像）映射到概念空间中的点。
• 将概念表示为概念空间中的凸区域，通过在每个维度的潜在空间中进行聚类来定义。
• 通过检查新观测是否属于现有概念区域来分类，当新实例不匹配任何现有概念时，动态更新区域。
• 在预训练后保持神经网络权重不变，仅将其用作固定预处理步骤以生成领域坐标。

实验结果

研究问题

• RQ1 InfoGAN学习的潜在空间能否作为概念空间框架中有效且可解释的维度？
• RQ2 如何利用潜在表征的无监督聚类来发现并表示概念空间中的概念？
• RQ3 是否可以基于新观测对概念边界进行增量更新，而无需重新训练神经网络？
• RQ4 神经表征在多大程度上能够为形状等感知领域中的抽象概念提供基础，而这些领域手工设计维度较为困难？
• RQ5 如何以支持几何推理与相似性判断的方式，将符号概念与非符号神经表征相连接？

主要发现

• InfoGAN的解耦潜在表征为定义概念空间维度提供了合适基础，尤其适用于形状等复杂感知领域。
• 该系统通过在学习到的潜在空间中聚类，实现了无监督概念发现，使概念可表示为概念空间中的凸区域。
• 概念可基于新观测进行增量更新——通过扩展或重新定位区域——而无需重新训练底层神经网络。
• 该方法在统一框架中支持分类与概念学习，推理或更新过程中均无需显式标签。
• 该方法成功将非符号神经表征与符号概念推理相结合，支持相似性与成员关系检查等几何操作。
• 通过颜色（手工设计的HSB）与形状（InfoGAN学习的）领域构建了一个概念验证系统，证明了该方法在真实场景中的可行性。