[论文解读] Towards Generalizable Neuro-Symbolic Systems for Commonsense Question Answering

Kaixin Ma, Jonathan Francis+3 more|arXiv (Cornell University)|Oct 30, 2019

Topic Modeling参考文献 40被引用 9

一句话总结

本文研究了神经符号模型在常识问答中知识融合的方法，比较了基于注意力的注入与使用ConceptNet和ATOMIC进行预训练的效果。研究发现，基于注意力的注入优于预训练，且知识库与数据集之间的领域对齐对模型成功至关重要。

ABSTRACT

Non-extractive commonsense QA remains a challenging AI task, as it requires systems to reason about, synthesize, and gather disparate pieces of information, in order to generate responses to queries. Recent approaches on such tasks show increased performance, only when models are either pre-trained with additional information or when domain-specific heuristics are used, without any special consideration regarding the knowledge resource type. In this paper, we perform a survey of recent commonsense QA methods and we provide a systematic analysis of popular knowledge resources and knowledge-integration methods, across benchmarks from multiple commonsense datasets. Our results and analysis show that attention-based injection seems to be a preferable choice for knowledge integration and that the degree of domain overlap, between knowledge bases and datasets, plays a crucial role in determining model success.

研究动机与目标

• 分析不同知识库（ConceptNet、ATOMIC）和知识融合方法（注意力、预训练）对常识问答性能的影响。
• 研究知识库与问答数据集之间的领域重叠如何影响模型泛化能力。
• 确定知识融合方法是否能提升多样化常识推理任务的性能。
• 识别哪些类型的常识知识（如因果、关系、程序性）对特定问题类型最为有益。
• 探讨在模型鲁棒性与非对齐任务上的性能退化方面，知识库预训练与基于注意力的注入之间的权衡。

提出的方法

• 在两个常识问答基准（DREAM和CommonsenseQA）上，评估了使用ConceptNet和ATOMIC进行知识注入的选项比较网络（OCN）模型。
• 应用两种知识融合策略：（1）将检索到的知识三元组通过注意力机制注入BERT的隐藏状态；（2）在ConceptNet（OMCS）或ATOMIC的知识三元组上对BERT进行预训练。
• 根据ConceptNet关系（如“Causes”、“Desires”）对问题进行分类，以分析各类知识类型下的性能表现。
• 通过消融研究比较不同问题类型和融合方法下的模型性能，测量准确率和权重分布变化。
• 使用注意力机制在推理过程中动态关注相关知识三元组，实现上下文感知的知识注入。
• 进行错误分析，识别出持续存在的失败模式，特别是处理否定和反义词相关问题时的表现。

实验结果

研究问题

• RQ1 在常识问答任务中，基于注意力的知识注入与知识库预训练相比，在性能和鲁棒性方面有何差异？
• RQ2 知识库与问答数据集之间的领域重叠在多大程度上影响了模型的成功？
• RQ3 哪些类型的常识知识（如因果、关系、程序性）对不同问题类别最为有效？
• RQ4 在知识库上进行预训练是否会导致在非对齐问题类型上的性能退化？如果是，原因是什么？
• RQ5 为什么模型在反义词相关问题上表现困难？这反映了当前推理能力的哪些局限？

主要发现

• 基于注意力的知识注入在性能上始终优于预训练，尤其在领域对齐不佳时表现更优，且未对非常识问题造成性能下降。
• 在知识库上进行预训练显著改变了模型的权重分布，使其更偏向知识库领域，从而损害了在无关问题类型上的表现。
• 知识注入带来的性能提升在需要因果、欲望或反应推理的问题中最为显著，特别是当使用ATOMIC处理“Causes”和“Wants”关系时。
• 涉及否定或反义词的问题始终是最具挑战性的，表明模型在处理否定性陈述时仍存在显著能力缺口。
• 当领域对齐良好时，基于注意力的注入和预训练均能提升性能，且二者结合可带来进一步增益。
• 在ATOMIC上预训练的模型在“CausesDesire”和“Desires”类型问题上表现更优，与ATOMIC在社会和情感推理方面的侧重一致，证实了语义对齐的重要性。