[论文解读] Who is Killed by Police: Introducing Supervised Attention for Hierarchical LSTMs

Minh Nguyen, Thien Huu Nguyen|arXiv (Cornell University)|Jul 9, 2018

Topic Modeling参考文献 28被引用 31

一句话总结

本文提出一种分层LSTM模型，结合由语义词列表和句法依存树引导的监督注意力机制，用于从文本中检测警察执法致死事件。通过建模命名实体的多句容器，并聚焦于语义和句法上相关的关键词，该方法在无需人工特征的情况下实现了最先进性能，F1值相比先前工作提升3.3%。

ABSTRACT

Finding names of people killed by police has become increasingly important as police shootings get more and more public attention (police killing detection). Unfortunately, there has been not much work in the literature addressing this problem. The early work in this field \cite{keith2017identifying} proposed a distant supervision framework based on Expectation Maximization (EM) to deal with the multiple appearances of the names in documents. However, such EM-based framework cannot take full advantages of deep learning models, necessitating the use of hand-designed features to improve the detection performance. In this work, we present a novel deep learning method to solve the problem of police killing recognition. The proposed method relies on hierarchical LSTMs to model the multiple sentences that contain the person names of interests, and introduce supervised attention mechanisms based on semantical word lists and dependency trees to upweight the important contextual words. Our experiments demonstrate the benefits of the proposed model and yield the state-of-the-art performance for police killing detection.

研究动机与目标

• 解决尽管公众和媒体关注度持续上升，但针对警察执法致死事件检测的NLP研究仍显不足的问题。
• 克服现有远程监督框架依赖EM算法和人工特征来构建深度学习模型的局限性。
• 开发一种深度学习框架，有效建模语料库中每个命名实体的多句文本证据。
• 引入基于语义和句法的监督注意力机制，以提升词语和句子的相关性加权效果。
• 仅使用文本证据，实现警察执法致死事件检测的最先进性能。

提出的方法

• 使用双层分层LSTM：词级LSTM用于编码句子，句级LSTM用于编码每个命名实体的句子容器。
• 在词级和句级均应用监督注意力机制，以语义词列表（如“shot”、“police”）和依存树路径作为监督信号。
• 通过计算关键术语（如“police”与“TARGET”）之间依存路径上的注意力权重，整合句法引导，突出上下文关键词语。
• 利用来自Fatal Encounters数据库的远程监督进行端到端训练，对匹配名称赋予正样本标签，对不匹配者赋予负样本标签。
• 利用注意力权重聚焦于承载证据的词语和句子，提升模型可解释性与性能。
• 通过注意力可视化分析模型行为，验证语义与句法引导的有效性。

实验结果

研究问题

• RQ1 在无标注训练数据的情况下，深度学习模型能否在警察执法致死事件检测任务中超越基于EM的传统框架？
• RQ2 基于语义词列表的监督注意力机制在识别警察执法致死事件相关上下文词语方面的有效性如何？
• RQ3 整合句法依存结构是否能提升模型识别否定句和细微证据线索的能力？
• RQ4 分层LSTM架构是否能在不依赖潜在变量或人工特征的情况下，有效建模多句容器？
• RQ5 结合语义与句法引导对警察执法致死事件检测的F1值有何影响？

主要发现

• H-LSTM+SynAtt模型相比Keith等人（2017）提出的最佳基线模型（soft-LR）实现了3.3%的F1值绝对提升，确立了新的最先进水平。
• H-LSTM无注意力机制的性能与soft-LR模型相当，表明无需特征工程的深度学习方法有效，但加入注意力机制后性能仍显著提升。
• 基于句法引导的监督注意力机制（H-LSTM+SynAtt）成功识别出“death”和“arrested”等关键词语，而仅依赖语义的注意力机制在复杂或否定句中会遗漏这些词。
• 可视化结果表明，H-LSTM模型本身会过度关注目标名称，常忽略关键证据性词语，凸显了注意力机制的必要性。
• H-LSTM+SemAtt在存在否定的负样本中表现失败（例如“said”和“arrested”否定警察参与），而H-LSTM+SynAtt通过依存路径注意力正确识别了此类线索。
• 该模型在正样本和负样本上均表现出稳健性能，得益于更优的上下文建模与注意力引导，F1值在精确率与召回率上均有显著提升。