[论文解读] Symbol-LLM: Leverage Language Models for Symbolic System in Visual Human Activity Reasoning

Xiaoqian Wu, Yong–Lu Li+2 more|arXiv (Cornell University)|Nov 29, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出 Symbol-LLM，一种利用大语言模型（LLMs）生成广泛覆盖的符号与合理规则的框架，用于视觉人类活动理解中的符号推理。通过将 LLM 衍生的符号与基于模糊逻辑的规则评估相结合，并融合视觉特征，该方法提升了可解释性、泛化能力与数据效率，在多个活动识别基准上实现了最先进性能。

ABSTRACT

Human reasoning can be understood as a cooperation between the intuitive, associative "System-1" and the deliberative, logical "System-2". For existing System-1-like methods in visual activity understanding, it is crucial to integrate System-2 processing to improve explainability, generalization, and data efficiency. One possible path of activity reasoning is building a symbolic system composed of symbols and rules, where one rule connects multiple symbols, implying human knowledge and reasoning abilities. Previous methods have made progress, but are defective with limited symbols from handcraft and limited rules from visual-based annotations, failing to cover the complex patterns of activities and lacking compositional generalization. To overcome the defects, we propose a new symbolic system with two ideal important properties: broad-coverage symbols and rational rules. Collecting massive human knowledge via manual annotations is expensive to instantiate this symbolic system. Instead, we leverage the recent advancement of LLMs (Large Language Models) as an approximation of the two ideal properties, i.e., Symbols from Large Language Models (Symbol-LLM). Then, given an image, visual contents from the images are extracted and checked as symbols and activity semantics are reasoned out based on rules via fuzzy logic calculation. Our method shows superiority in extensive activity understanding tasks. Code and data are available at https://mvig-rhos.com/symbol_llm.

研究动机与目标

• 解决现有视觉活动推理方法在组合泛化与可解释性方面的局限性。
• 克服符号系统中用于视觉推理的手动设计符号与规则稀缺的问题。
• 通过 LLM 实现广泛覆盖、类人般的符号知识，用于视觉活动理解。
• 利用模糊逻辑将符号推理与视觉感知相结合，实现稳健的活动语义预测。

提出的方法

• 利用预训练的 LLM 自动生成一组全面的符号，表示人类活动中的实体、动作与关系。
• 构建一个符号规则系统，其中每个规则编码符号之间的逻辑关系，近似人类推理模式。
• 使用视觉主干网络从输入图像中提取视觉特征，并通过跨模态对齐模块将其映射到符号表示。
• 应用模糊逻辑基于视觉证据计算符号规则的满足程度，实现软性、可微分的推理。
• 通过结合视觉识别与符号规则一致性的多任务损失，端到端训练系统。
• 利用模糊规则评估的输出预测活动级别的语义，提升可解释性与泛化能力。

实验结果

研究问题

• RQ1 LLM 是否能有效生成广泛覆盖、类人合理的符号，用于视觉活动推理？
• RQ2 如何有效结合 LLM 衍生的符号规则与视觉特征，以实现准确的活动理解？
• RQ3 使用 LLM 生成的知识进行符号推理，在多大程度上提升了视觉活动识别中的泛化能力与数据效率？
• RQ4 基于模糊逻辑的规则评估是否能增强视觉推理任务中的鲁棒性与可解释性？

主要发现

• Symbol-LLM 在多个视觉人类活动理解基准上实现了最先进性能，包括 Something-Something V2 和 Epic-Kitchens。
• 与纯神经网络基线相比，该方法在零样本与少样本泛化方面表现出显著提升。
• 利用 LLM 生成的符号与规则可带来在多样化活动模式下更可解释且一致的预测结果。
• 消融实验表明，LLM 衍生符号的质量以及模糊逻辑的集成对性能提升至关重要。