[论文解读] ZeroC: A Neuro-Symbolic Model for Zero-shot Concept Recognition and Acquisition at Inference Time

Tailin Wu, Megan Tjandrasuwita+5 more|arXiv (Cornell University)|Jun 30, 2022

Machine Learning and Data Classification被引用 5

一句话总结

ZeroC 是一种神经符号框架，通过将概念和关系建模为符号图结构上的能量模型（EBM），实现在推理时零样本识别和获取新视觉概念。它通过符号图与EBM之间的一一映射，将学习到的原始概念组合成新概念，无需微调即可实现准确检测与分类，即使在跨领域场景下也适用。

ABSTRACT

Humans have the remarkable ability to recognize and acquire novel visual concepts in a zero-shot manner. Given a high-level, symbolic description of a novel concept in terms of previously learned visual concepts and their relations, humans can recognize novel concepts without seeing any examples. Moreover, they can acquire new concepts by parsing and communicating symbolic structures using learned visual concepts and relations. Endowing these capabilities in machines is pivotal in improving their generalization capability at inference time. In this work, we introduce Zero-shot Concept Recognition and Acquisition (ZeroC), a neuro-symbolic architecture that can recognize and acquire novel concepts in a zero-shot way. ZeroC represents concepts as graphs of constituent concept models (as nodes) and their relations (as edges). To allow inference time composition, we employ energy-based models (EBMs) to model concepts and relations. We design ZeroC architecture so that it allows a one-to-one mapping between a symbolic graph structure of a concept and its corresponding EBM, which for the first time, allows acquiring new concepts, communicating its graph structure, and applying it to classification and detection tasks (even across domains) at inference time. We introduce algorithms for learning and inference with ZeroC. We evaluate ZeroC on a challenging grid-world dataset which is designed to probe zero-shot concept recognition and acquisition, and demonstrate its capability.

研究动机与目标

• 仅使用组成概念及其关系的符号描述，使机器能够在无任何训练样本的情况下识别新视觉概念。
• 赋予模型通过符号图结构在推理时获取并表达新概念的能力。
• 通过统一的神经符号架构，在识别（推断概念存在性）和获取（构建新概念模型）两方面实现零样本泛化。
• 通过利用学习到的 EBM 组件和符号关系结构，支持组合概念在不同领域间的迁移。
• 设计一种可扩展、通用的框架，在无需架构调优的情况下适用于多样化数据集和概念层次结构。

提出的方法

• 将视觉概念和关系表示为能量模型（EBM），输入包括：图像、掩码（s）以及概念/关系标签字符串。
• 通过符号图结构（节点=概念，边=关系）与对应 EBM 组件之间的一一映射，实现在推理时的组合。
• 采用随机梯度 Langevin 动力学（SGLD）进行端到端推理，支持掩码预测和概念检测的能量最小化。
• 在包含（图像，掩码，标签）三元组的数据集上训练 EBM，其中标签描述具有内在变化的概念或关系（例如，'锐角'在不同角度下变化）。
• 通过解析图像为组成概念掩码和关系图，然后使用现有 EBM 组件组合生成新层次概念的 EBM，实现概念获取。
• 使用相同的 EBM 框架同时支持分类（标签预测）和检测（掩码预测）任务，推理通过 SGLD 采样完成。

实验结果

研究问题

• RQ1 模型是否仅使用组成概念及其关系的符号描述，无需在新概念上进行任何训练，即可在推理时识别新视觉概念？
• RQ2 模型是否能通过解析图像并从检测到的原始组件构建符号图结构，在推理时获取并表示新的层次概念？
• RQ3 相同的基于 EBM 的架构是否能在无需架构调优的情况下泛化到不同数据集和概念层次结构？
• RQ4 该模型在跨领域（如从网格世界到 3D 仿真环境）中检测和分类组合概念的性能如何？
• RQ5 推理流水线的计算效率如何，尤其是在图像尺寸和物体数量增加时？

主要发现

• ZeroC 仅使用学习到的 EBM 组件和符号图结构，即可在网格世界环境中准确实现对新层次概念（如 'F'、'矩形'）的零样本检测与分类。
• 该模型在 3D 图像环境（32x32x3）中成功检测并分类组合概念，准确率合理，显著优于基线方法。
• 由于采用固定数量的 SGLD 步骤（K=60）和批量关系分类，推理时间保持高效且几乎不随图像尺寸和物体数量增加而变化。
• 该框架在无需调整模型架构和超参数的情况下，泛化至 HD-Letter、HD-Concept 和 CLEVR 等不同数据集。
• 该方法对关系的内在变化具有鲁棒性（例如，'锐角'随角度变化），能够通过单个 EBM 从多样化示例中学习此类原始特征。
• 该模型支持跨领域概念获取：在某一领域（如网格世界）学习的概念可直接应用于另一领域（如 3D 仿真图像）中检测相同概念，无需重新训练。