[论文解读] Neural Logic Reasoning

Shaoyun Shi, Hanxiong Chen+4 more|arXiv (Cornell University)|Aug 20, 2020

Advanced Graph Neural Networks参考文献 32被引用 4

一句话总结

该论文提出逻辑集成神经网络（LINN），一种动态神经架构，通过将逻辑运算（与、或、非）作为可微模块进行学习，实现命题逻辑推理。通过基于输入逻辑表达式构建计算图，并使用向量表示逻辑变量，LINN在逻辑方程求解和Top-K推荐任务中均达到最先进性能，展现出神经网络泛化能力与符号推理能力的强强结合。

ABSTRACT

Recent years have witnessed the success of deep neural networks in many research areas. The fundamental idea behind the design of most neural networks is to learn similarity patterns from data for prediction and inference, which lacks the ability of cognitive reasoning. However, the concrete ability of reasoning is critical to many theoretical and practical problems. On the other hand, traditional symbolic reasoning methods do well in making logical inference, but they are mostly hard rule-based reasoning, which limits their generalization ability to different tasks since difference tasks may require different rules. Both reasoning and generalization ability are important for prediction tasks such as recommender systems, where reasoning provides strong connection between user history and target items for accurate prediction, and generalization helps the model to draw a robust user portrait over noisy inputs. In this paper, we propose Logic-Integrated Neural Network (LINN) to integrate the power of deep learning and logic reasoning. LINN is a dynamic neural architecture that builds the computational graph according to input logical expressions. It learns basic logical operations such as AND, OR, NOT as neural modules, and conducts propositional logical reasoning through the network for inference. Experiments on theoretical task show that LINN achieves significant performance on solving logical equations and variables. Furthermore, we test our approach on the practical task of recommendation by formulating the task into a logical inference problem. Experiments show that LINN significantly outperforms state-of-the-art recommendation models in Top-K recommendation, which verifies the potential of LINN in practice.

研究动机与目标

• 为解决深度神经网络虽具备强大泛化能力但难以进行逻辑推理的局限性。
• 克服传统符号推理的僵化性，后者依赖硬编码规则且缺乏在多样化任务中的泛化能力。
• 统一深度学习的表征能力与符号系统的逻辑推理能力，以提升实际应用中的推理性能。
• 使神经网络能够基于逻辑约束对推荐系统中的用户-物品交互进行推理。
• 证明逻辑集成神经网络可在理论逻辑问题与现实世界推荐任务中均实现优越性能。

提出的方法

• LINN将逻辑变量表示为稠密向量，并将基本逻辑运算（与、或、非）建模为可学习的神经模块。
• 网络根据输入的逻辑表达式动态构建其计算图，保留逻辑公式的结构信息。
• 应用逻辑正则化以确保学习到的神经模块尊重逻辑运算的语义特性，如结合律与幂等律。
• 模型采用可微推理机制，将逻辑表达式的真值计算为概率值，支持端到端训练。
• 在推荐任务中，LINN将用户偏好表示为逻辑表达式（例如：'喜欢A但不喜欢B → 喜欢C'），并通过逻辑感知损失函数从交互序列中进行学习。
• 通过逻辑表达式建模负向交互，而非简单的嵌入取反，避免对向量对称性做出强假设。

实验结果

研究问题

• RQ1 能否设计一种神经网络架构，实现动态、结构感知的逻辑推理，同时保持泛化能力？
• RQ2 与标准深度学习模型相比，神经模型在求解命题逻辑方程方面的表现如何？
• RQ3 在用户交互稀疏且嘈杂的真实推荐任务中，逻辑集成推理能否提升性能？
• RQ4 通过逻辑表达式建模负向交互是否优于传统的基于嵌入的负样本表示方法？
• RQ5 LINN是否能在不使用类别或内容等辅助信息的情况下，发现有意义的物品共现模式？

主要发现

• 在理论逻辑推理任务中，LINN显著优于标准神经网络，如求解逻辑方程与变量推理任务，充分展现了其强大的逻辑推理能力。
• 在ML-100k与Electronics推荐数据集上，LINN在Hit@1与Top-K性能上均优于当前最先进模型（如GRU4Rec与NARM）。
• 在ML-100k数据集上，LINN的Hit@1得分为0.58，即使未显式建模负向交互，仍优于GRU4Rec与NARM。
• 物品共现概率的热力图显示，LINN在未强制架构对称性的情况下，学习到了对称的逻辑关系（如v_i ∧ v_j ≈ v_j ∧ v_i）。
• LINN成功识别出非显而易见的共现模式，例如一部热门音乐（编号602）与一部冷门剧集（编号1144）被同一群用户喜欢，尽管后者知名度较低。
• 使用逻辑表达式建模负向交互的性能优于使用负嵌入或无约束网络的方法，后者会削弱正负样本表示之间的语义关联。