[论文解读] Positional Attention-based Frame Identification with BERT: A Deep Learning Approach to Target Disambiguation and Semantic Frame Selection

Sang-Sang Tan, Jin‐Cheon Na|arXiv (Cornell University)|Oct 31, 2019

Topic Modeling参考文献 49被引用 4

一句话总结

PAFIBERT 是一种基于 BERT 的深度学习模型，通过使用位置注意力机制，提升框架语义分析中的框架识别能力，通过关注与目标相关的特定上下文，实现了在域内和域外基准上的最先进性能，能够更优地处理模糊目标和未见过的词汇单位，且无需进行框架过滤。

ABSTRACT

Semantic parsing is the task of transforming sentences from natural language into formal representations of predicate-argument structures. Under this research area, frame-semantic parsing has attracted much interest. This parsing approach leverages the lexical information defined in FrameNet to associate marked predicates or targets with semantic frames, thereby assigning semantic roles to sentence components based on pre-specified frame elements in FrameNet. In this paper, a deep neural network architecture known as Positional Attention-based Frame Identification with BERT (PAFIBERT) is presented as a solution to the frame identification subtask in frame-semantic parsing. Although the importance of this subtask is well-established, prior research has yet to find a robust solution that works satisfactorily for both in-domain and out-of-domain data. This study thus set out to improve frame identification in light of recent advancements of language modeling and transfer learning in natural language processing. The proposed method is partially empowered by BERT, a pre-trained language model that excels at capturing contextual information in texts. By combining the language representation power of BERT with a position-based attention mechanism, PAFIBERT is able to attend to target-specific contexts in sentences for disambiguating targets and associating them with the most suitable semantic frames. Under various experimental settings, PAFIBERT outperformed existing solutions by a significant margin, achieving new state-of-the-art results for both in-domain and out-of-domain benchmark test sets.

研究动机与目标

• 解决框架语义分析中鲁棒性框架识别的挑战，特别是针对模糊目标和域外数据。
• 利用 BERT 等预训练语言模型，增强目标消歧的上下文表征。
• 开发一种方法，通过关注其在句子中的不同位置上下文，有效区分同一目标在句子中的多个实例。
• 通过减少对严格框架过滤的依赖，提升对未见目标和非连续多词词汇单位的泛化能力。
• 在候选框架约束与上下文灵活性之间取得平衡，以增强模型的鲁棒性和准确性。

提出的方法

• 使用 BERT 作为上下文编码器，生成输入句子的深度上下文表征。
• 引入基于位置的注意力机制，使模型能够根据目标在句子中的位置，选择性地关注其周围的上下文。
• 在 BERT 嵌入序列上应用多头注意力机制，聚焦于每个目标的相关上下文，提升同音目标的消歧能力。
• 采用两种变体：一种使用框架过滤（基于 FrameNet 的候选框架），另一种不使用，以评估鲁棒性与泛化能力之间的权衡。
• 通过微调 BERT 编码器并添加分类头，预测每个目标最合适的语义框架。
• 在训练过程中使用交叉熵损失，优化每个目标实例的框架预测。

实验结果

研究问题

• RQ1 基于 BERT 的模型结合位置注意力机制，是否能在域内和域外测试集上，超越现有方法，提升框架识别准确率？
• RQ2 框架过滤如何影响模型对未见目标和非连续多词词汇单位的泛化能力？
• RQ3 在不依赖框架约束的情况下，模型在多大程度上能解决高度混淆框架之间的细微语义差异？
• RQ4 基于位置的注意力机制是否能有效消歧同一句子中同一目标的多个出现？
• RQ5 无框架依赖的模型变体是否能在处理特定领域或罕见词汇用法时，优于经过框架过滤的模型？

主要发现

• PAFIBERT 在框架识别的域内和域外基准数据集上均取得了新的最先进结果。
• 不使用框架过滤的变体在处理非连续多词词汇单位（如 'give up.v' 中 'it' 插入在 'give' 和 'up' 之间）时，表现优于经过过滤的版本。
• 在美容领域语境中，PAFIBERT 无框架过滤版本正确将 'highlighting' 识别为 [Body_decoration]，展示了领域感知的框架选择能力。
• 通过位置注意力机制关注上下文特征，模型在模糊目标上的表现得到提升。
• 尽管具有优势，无过滤变体在处理极高模糊性的目标时偶尔会出现误分类（例如，'worth' 被预测为 [Earnings_and_losses] 而非 [Deserving]），表明对上下文变化较为敏感。
• 最常见的框架混淆对被发现是准确率损失的主要来源，提示未来工作应集中于解决这些细微的语义区分。