[论文解读] Neural Theorem Provers Do Not Learn Rules Without Exploration

Michiel de Jong, Fei Sha|arXiv (Cornell University)|Jun 17, 2019

Topic Modeling参考文献 21被引用 5

一句话总结

本文表明，神经定理证明器（NTP）由于优化问题而无法有效学习逻辑规则，其根源在于采用贪婪的赢家通吃策略，导致模型陷入次优局部极小值。通过引入一种简单的探索启发式方法——保留top-k证明路径而非仅最高分的一条路径，作者显著提升了规则学习性能，表明探索对于神经符号模型中的有效逻辑归纳至关重要。

ABSTRACT

Neural symbolic processing aims to combine the generalization of logical learning approaches and the performance of neural networks. The Neural Theorem Proving (NTP) model by Rocktaschel et al (2017) learns embeddings for concepts and performs logical unification. While NTP is promising and effective in predicting facts accurately, we have little knowledge how well it can extract true relationship among data. To this end, we create synthetic logical datasets with injected relationships, which can be generated on-the-fly, to test neural-based relation learning algorithms including NTP. We show that it has difficulty recovering relationships in all but the simplest settings. Critical analysis and diagnostic experiments suggest that the optimization algorithm suffers from poor local minima due to its greedy winner-takes-all strategy in identifying the most informative structure (proof path) to pursue. We alter the NTP algorithm to increase exploration, which sharply improves performance. We argue and demonstate that it is insightful to benchmark with synthetic data with ground-truth relationships, for both evaluating models and revealing algorithmic issues.

研究动机与目标

• 评估神经定理证明器（NTP）是否能从数据中有效学习真实的逻辑关系，而不仅仅是准确预测事实。
• 诊断尽管在具有真实关系的合成数据集中事实预测准确率高，NTP为何在规则学习方面表现不佳。
• 开发并验证一种简单的优化改进方法，通过增强NTP中的探索能力以克服次优局部极小值。
• 建立可注入真实规则的合成数据集，作为评估神经符号模型中规则学习性能的基准。

提出的方法

• 构建可注入真实规则的合成逻辑数据集，其复杂度可调（如规则数量、关系强度、顺序和规模等）。
• 使用可微逻辑学习在这些数据集上训练NTP，同时测量事实预测准确率和规则学习性能。
• 实现一种改进的NTP算法，保留top-k证明路径（如top-2 all-path），而非仅保留最高分的一条路径，以实现探索。
• 采用类似束搜索的启发式方法，在优化过程中保持多个候选证明路径，防止过早收敛至次优路径。
• 使用召回率、PR-AUC、MRR和ROC-AUC等指标，对规则学习和事实预测任务进行性能评估。
• 通过消融研究，改变规则数量、关系强度、关系数量以及K_max（top-k剪枝）等参数，评估模型的鲁棒性和敏感性。

实验结果

研究问题

• RQ1 在已知关系的合成数据集中，NTP能否有效恢复真实逻辑规则，即使其事实预测准确率很高？
• RQ2 NTP在规则学习方面失败的原因是什么？这种失败是源于模型架构还是优化动力学？
• RQ3 NTP在证明路径选择中采用的赢家通吃策略如何导致训练过程中陷入次优局部极小值？
• RQ4 通过保留多条低分证明路径引入探索，是否能显著提升NTP的规则学习性能？
• RQ5 规则复杂度、关系强度和关系数量等因素如何影响标准NTP与探索型NTP变体的性能？

主要发现

• NTP在事实预测方面表现优异（如ROC-AUC > 0.92），但在非平凡设置下无法学习规则，尤其在大小为2的单目关系中，召回率降至0.02。
• 基础NTP模型因贪婪的赢家通吃策略导致优化效果差，错误的证明路径因初始支持分数高而被强化。
• 通过引入top-2 all-path启发式方法实现探索，使大小为2的单目关系的规则召回率从0.02提升至0.92，PR-AUC从0.39提升至0.95。
• 该探索启发式方法在关系强度较低时（如p_r = 0.7）仍保持良好性能，召回率达0.44，而基础模型仅为0.04。
• 引入第二个相同类型的关系会显著降低基础模型的性能（召回率从0.62降至0.38），但探索型模型仍能保持高召回率（两个关系下为0.63）。
• K_max超参数（top-k剪枝）对性能影响极小，表明核心问题在于探索策略，而非剪枝深度。