[论文解读] VAEL: Bridging Variational Autoencoders and Probabilistic Logic Programming

Eleonora Misino, Giuseppe Marra+1 more|arXiv (Cornell University)|Feb 7, 2022

Semantic Web and Ontologies被引用 4

一句话总结

VAEL 提出了一种神经符号生成模型，将变分自编码器（VAEs）与概率逻辑编程（PLP）相结合，实现了端到端可微学习，其中潜在表征被解耦为符号逻辑表达式。这使得通过逻辑推理实现对未见过的生成任务的泛化成为可能，从而在提升数据效率和零样本泛化能力的同时，实现了最先进性能。

ABSTRACT

We present VAEL, a neuro-symbolic generative model integrating variational autoencoders (VAE) with the reasoning capabilities of probabilistic logic (L) programming. Besides standard latent subsymbolic variables, our model exploits a probabilistic logic program to define a further structured representation, which is used for logical reasoning. The entire process is end-to-end differentiable. Once trained, VAEL can solve new unseen generation tasks by (i) leveraging the previously acquired knowledge encoded in the neural component and (ii) exploiting new logical programs on the structured latent space. Our experiments provide support on the benefits of this neuro-symbolic integration both in terms of task generalization and data efficiency. To the best of our knowledge, this work is the first to propose a general-purpose end-to-end framework integrating probabilistic logic programming into a deep generative model.

研究动机与目标

• 为了解决标准 VAE 在无需微调的情况下泛化到新生成任务的局限性，通过将潜在表征与特定任务的标签解耦。
• 将概率逻辑编程作为潜在空间中的结构化、可解释先验，以支持对符号表征的逻辑推理。
• 实现端到端可微训练，同时支持神经网络学习与符号推理。
• 通过在潜在空间中引入逻辑归纳偏置，提升数据效率与泛化能力。
• 提供一个通用的神经符号生成框架，支持通过新逻辑程序实现对新任务的零样本适应。

提出的方法

• 提出一种混合模型，其中 VAE 学习从原始输入数据到由逻辑原子组成的符号潜在空间的非线性映射。
• 采用基于 ProbLog 的概率逻辑程序，为符号潜在变量定义结构化先验，以支持逻辑推理与推断。
• 通过 VAE 编码器/解码器与逻辑程序的端到端反向传播，实现神经与符号组件的联合优化。
• 在逻辑程序中应用成功概率与基于证据的采样，以从符号表征中计算标签概率。
• 通过基于 VAE 潜在输出推导出的逻辑表达式进行条件化，将标签预测与潜在码解耦。
• 通过在不重新训练 VAE 的情况下插入新的逻辑程序，实现零样本生成。

实验结果

研究问题

• RQ1 能否训练一种生成模型，使其将潜在表征解耦为支持推理的可解释符号逻辑表达式？
• RQ2 与标准 VAE 相比，集成概率逻辑编程在多大程度上提升了对未见生成任务的泛化能力？
• RQ3 在低数据场景下，符号先验是否能提升图像生成任务的数据效率？
• RQ4 是否仅通过修改逻辑程序即可实现对新任务的泛化，而无需重新训练神经组件？
• RQ5 符号推理的集成在多大程度上提升了深度生成模型的可解释性与归纳偏置？

主要发现

• VAEL 在图像生成基准测试中实现了最先进性能，尤其在低数据场景下表现突出。
• 通过复用相同的 VAE 编码器并结合新的逻辑程序，模型可实现对未见生成任务（如新的算术运算）的泛化，且无需重新训练。
• VAEL 在训练数据稀缺时表现出更强的数据效率，优于标准 VAE。
• 通过集成概率逻辑编程，模型能够通过符号程序适配实现对新推理任务的零样本泛化。
• 符号潜在空间支持可解释推理，成功概率与基于证据的采样使对生成内容的逻辑推理成为可能。
• 据作者所知，VAEL 是首个将 VAE 与概率逻辑编程端到端可微集成用于生成建模的神经符号框架。