[论文解读] Techniques for Symbol Grounding with SATNet

Sever Topan, David Rolnick+1 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Image and Video Retrieval Techniques参考文献 36被引用 6

一句话总结

本文提出一种自监督预训练流程，使SATNet能够在无标签泄露的情况下求解视觉数独，从而克服符号接地问题。通过基于聚类的蒸馏和一种新型符号接地损失，该方法在无接地视觉数独上实现了64.8%的准确率，与有监督设置下SATNet的性能相当，同时引入了一种纠错机制，进一步提升了当前最先进结果。

ABSTRACT

Many experts argue that the future of artificial intelligence is limited by the field's ability to integrate symbolic logical reasoning into deep learning architectures. The recently proposed differentiable MAXSAT solver, SATNet, was a breakthrough in its capacity to integrate with a traditional neural network and solve visual reasoning problems. For instance, it can learn the rules of Sudoku purely from image examples. Despite its success, SATNet was shown to succumb to a key challenge in neurosymbolic systems known as the Symbol Grounding Problem: the inability to map visual inputs to symbolic variables without explicit supervision ("label leakage"). In this work, we present a self-supervised pre-training pipeline that enables SATNet to overcome this limitation, thus broadening the class of problems that SATNet architectures can solve to include datasets where no intermediary labels are available at all. We demonstrate that our method allows SATNet to attain full accuracy even with a harder problem setup that prevents any label leakage. We additionally introduce a proofreading method that further improves the performance of SATNet architectures, beating the state-of-the-art on Visual Sudoku.

研究动机与目标

• 解决神经符号AI中的符号接地问题，即在无显式监督的情况下，无法将视觉输入映射到符号变量。
• 使SATNet能够在无需中间监督（如数字分类）的情况下，端到端学习逻辑约束和视觉表征。
• 开发一种可泛化到无接地MAXSAT问题的方法，其中仅可获得输出标签，而无输入标签。
• 提升SATNet在真实场景中面对有限或无标注输入数据时的鲁棒性与泛化能力。
• 引入一种纠错机制，以优化预测结果，进一步提升视觉推理任务的性能。

提出的方法

• 应用自监督聚类与知识蒸馏流程，在SATNet架构内预训练视觉分类器，使其在无真实标签的情况下学习数字表征。
• 设计一种符号接地损失，学习模型所学嵌入与符号标签空间之间的置换映射，从而实现逻辑约束层的端到端训练。
• 使用可微分的MAXSAT求解器（SATNet）联合优化视觉特征与逻辑一致性，确保预测结果满足数独规则。
• 集成一种纠错模块，通过逻辑一致性检查重新评估并修正预测结果，从而提升最终准确率。
• 通过修正后的PyTorch实现解决已知对随机种子敏感的问题，提升训练稳定性与可复现性。
• 在修改后的数据集上进行训练，其中仅输出单元格的值被标注，以模拟无标签泄露的真实无接地场景。

实验结果

研究问题

• RQ1 SATNet是否能够在不依赖输入数字分类监督的情况下求解视觉数独，从而克服符号接地问题？
• RQ2 自监督视觉特征预训练在多大程度上能够实现神经符号模型的端到端学习？
• RQ3 所提出的符号接地损失在从非结构化视觉特征中学习符号映射方面有多有效？
• RQ4 纠错机制是否能进一步提升基于SATNet的模型在视觉推理任务中的准确率？
• RQ5 SATNet在无接地设置下的性能上限是多少？其与基于输入分类准确率推导出的理论上限相比如何？

主要发现

• 所提方法在无接地视觉数独上实现了64.8%的总板面准确率，相比此前无标签泄露的SATNet变体所达到的0%准确率有显著提升。
• 自监督预训练流程使SATNet在无标签泄露情况下达到与原始SATNet模型（含标签泄露）相当的性能，证明了端到端学习的有效性。
• 符号接地损失成功学习了所学视觉嵌入与符号标签之间的置换映射，使逻辑约束层可在无输入监督的情况下进行训练。
• 纠错机制在视觉数独任务上的表现超越了当前最先进水平，表明逻辑一致性检查可有效优化预测结果。
• SATNet在一定程度上能够对错误的输入标签进行推理，尤其当错误导致数独无解时，显示出逻辑推理的鲁棒性。
• 基于输入分类准确率推导出的性能上限（74.8%）并非严格约束，因为SATNet可通过逻辑推理纠正部分输入错误。