[论文解读] Ranking and Selecting Multi-Hop Knowledge Paths to Better Predict Human Needs

Debjit Paul, Anette Frank|arXiv (Cornell University)|Apr 1, 2019

Topic Modeling参考文献 33被引用 7

一句话总结

本文提出了一种新颖的神经网络模型，通过从ConceptNet中筛选并排序多跳知识路径，以预测叙事文本中情感表达背后的潜在人类需求。通过门控注意力机制整合这些路径，该模型在MNPCSCS数据集上实现了最先进（SOTA）的性能表现，准确率显著提升，尤其在罕见标签上表现更优，并通过输入词元和知识路径上的注意力图实现了更高的可解释性。

ABSTRACT

To make machines better understand sentiments, research needs to move from polarity identification to understanding the reasons that underlie the expression of sentiment. Categorizing the goals or needs of humans is one way to explain the expression of sentiment in text. Humans are good at understanding situations described in natural language and can easily connect them to the character's psychological needs using commonsense knowledge. We present a novel method to extract, rank, filter and select multi-hop relation paths from a commonsense knowledge resource to interpret the expression of sentiment in terms of their underlying human needs. We efficiently integrate the acquired knowledge paths in a neural model that interfaces context representations with knowledge using a gated attention mechanism. We assess the model's performance on a recently published dataset for categorizing human needs. Selectively integrating knowledge paths boosts performance and establishes a new state-of-the-art. Our model offers interpretability through the learned attention map over commonsense knowledge paths. Human evaluation highlights the relevance of the encoded knowledge.

研究动机与目标

• 通过识别驱动情感表达的潜在人类需求，将情感分析从极性检测进一步推进。
• 解决从上下文中推断隐含心理需求的挑战，这需要超越表面文本的常识推理能力。
• 开发一种方法，从常识知识库（ConceptNet）中提取、排序并选择性地整合多跳知识路径，以解释故事中的情感反应。
• 通过在输入词元和选定知识路径上实现注意力机制，提升模型的可解释性。
• 通过人工标注评估所提取知识路径的相关性，并证明其对性能提升的贡献。

提出的方法

• 该模型使用ELMo嵌入编码输入上下文，并通过门控注意力机制整合从ConceptNet中选出的多跳知识路径。
• 利用基于图的特征和算法（包括个性化PageRank（PPR）和中心性度量）从ConceptNet中提取多跳关系路径，并据此对路径相关性进行排序。
• 通过一个相关性评分函数，结合路径特征（如路径长度、节点中心性、语义相似度）对候选路径进行排序，再进行选择。
• 模型采用两种注意力机制：一种作用于输入词元（通过公式6），另一种作用于知识路径（通过公式15），从而实现对哪些词元和知识路径对预测有贡献的可解释性分析。
• 基于注意力权重对知识路径进行过滤和选择，确保仅使用上下文与人类需求之间最相关的关联。
• 端到端架构通过多标签交叉熵损失进行端到端训练，以优化人类需求分类任务。

实验结果

研究问题

• RQ1 从ConceptNet中提取的多跳知识路径是否能提升对叙事文本中人类需求的预测性能？
• RQ2 所提出的基于图的排序方法在从常识知识库中选择相关多跳路径方面有多高效？
• RQ3 与仅使用上下文嵌入的基线模型相比，选择性地整合知识路径是否能带来性能提升？
• RQ4 对知识路径的注意力图在多大程度上反映了人类可理解的情感状态推理过程？
• RQ5 人工评估者是否认为所提取的知识路径在解释故事中情感反应方面具有相关性？

主要发现

• 当使用ELMo结合知识整合（BM+K）时，该模型在MNPCSCS数据集上实现了新的SOTA F1分数39.83，而仅使用ELMo不加知识（BM）时为38.39。
• 知识整合在所有人类需求类别中均提升了性能，尤其在罕见标签（如“荣誉”、“理想主义”、“权力”）上提升最为显著。
• 人工评估显示，34%的提取知识路径（基于多数意见）被专家标注者判断为相关，表明路径相关性选择有效。
• 注意力可视化结果证实，模型正确识别了关键输入词元（如“exhausting”）和相关知识路径（如“exhausting → fatigue → desire rest”），这些路径将上下文与正确的潜在需求（如“rest”）联系起来。
• 上下文显著提升了预测准确率：例如，当包含上下文时，模型能预测出“competition”和“curiosity”，而若无上下文，则仅对同一句子预测出“curiosity”。
• 该模型展现出强大的可解释性，因为输入词元注意力图和知识路径注意力图均能清晰突出预测所依赖的语言线索与常识线索。