[论文解读] Neuro-Symbolic Hierarchical Rule Induction

Claire Glanois, Xuening Feng+5 more|IT University Of Copenhagen (IT University of Copenhagen)|Dec 26, 2021

Multimodal Machine Learning Applications参考文献 33被引用 7

一句话总结

本文提出HRI，一种基于可学习嵌入和一组通用原型规则的神经符号层次规则归纳模型，用于归纳逻辑编程（ILP）中可解释的一阶逻辑规则学习。通过采用基于嵌入的软统一、受控Gumbel噪声以及可解释性正则化，HRI在ILP、Visual Genome和强化学习任务中均达到最先进性能，同时在不同数量的谓词和对象之间实现良好泛化。

ABSTRACT

We propose an efficient interpretable neuro-symbolic model to solve Inductive Logic Programming (ILP) problems. In this model, which is built from a set of meta-rules organised in a hierarchical structure, first-order rules are invented by learning embeddings to match facts and body predicates of a meta-rule. To instantiate it, we specifically design an expressive set of generic meta-rules, and demonstrate they generate a consequent fragment of Horn clauses. During training, we inject a controlled \pw{Gumbel} noise to avoid local optima and employ interpretability-regularization term to further guide the convergence to interpretable rules. We empirically validate our model on various tasks (ILP, visual genome, reinforcement learning) against several state-of-the-art methods.

研究动机与目标

• 通过结合深度学习的泛化能力与符号逻辑的可解释性，解决传统ILP方法存在的脆弱性和可扩展性问题。
• 开发一种可在不同谓词和对象数量间泛化的模型，实现对更大实例的组合泛化能力。
• 设计一组最小但表达力强的原型规则，以在不损失表达力的前提下限制假设空间，从而提升学习效率与准确性。
• 通过利用语义或视觉先验知识初始化谓词嵌入，实现在语义丰富领域中的持续学习。
• 提供一个理论基础扎实且经实证验证的神经符号规则归纳框架，支持递归定义与多任务学习。

提出的方法

• 该模型采用元规则的层次结构，并将其抽象为‘原型规则’，以紧凑方式表示一类广泛的一阶逻辑规则。
• 通过原型规则与事实之间的软统一学习谓词嵌入，相似度得分决定规则的实例化。
• 在训练过程中引入受控Gumbel噪声，以帮助模型逃离局部最优，提升假设空间中的探索能力。
• 引入可解释性正则化项，引导模型学习人类可读且逻辑上合理的规则。
• 该模型支持递归规则定义，且与谓词或对象的数量无关，从而实现对不同规模问题的泛化。
• 可利用语义或视觉先验知识初始化谓词嵌入，从而在多任务和基于视觉的ILP任务中提升性能。

实验结果

研究问题

• RQ1 基于可学习嵌入和少量原型规则的神经符号模型，是否能在多样化的ILP任务中实现具有竞争力的性能，同时保持可解释性？
• RQ2 受控Gumbel噪声与可解释性正则化的引入，如何改善模型收敛至有意义且人类可读规则的能力？
• RQ3 该模型在不同数量谓词和对象之间泛化的程度如何，特别是在零样本或少样本设置下？
• RQ4 该模型能否有效利用语义或视觉先验知识，以在Visual Genome等语义丰富的多任务领域中引导规则学习？
• RQ5 所提出的原型规则集的理论表达能力如何？其与已知Horn逻辑片段的比较结果如何？

主要发现

• HRI模型在从Visual Genome提取的GQA基准测试中，优于最先进方法（包括NLIL），在视觉-语言推理任务中展现出强大的可扩展性与性能表现。
• 即使在小规模实例上进行训练，模型仍能泛化至更大规模的问题实例，证实其具备组合泛化能力。
• 使用包含受控冗余的扩展原型规则集（$\mathcal{R}_{*}$）相比最小规则集，显著提升了学习性能，即使在未掌握解结构先验知识的情况下亦然。
• 理论分析表明，原型规则集$\mathcal{R}_{0}$生成Horn子句的一个片段，其扩展形式可达到包含最多5个体原子的更富表达力的片段。
• 该模型支持零元谓词，并可在相关谓词（如Car）的嵌入语义相似时，泛化至未见过的谓词（如Truck），实现类比推理能力。
• 实证消融研究验证了Gumbel噪声与可解释性正则化的有效性，显示其在收敛速度与规则质量方面均有显著提升。