[论文解读] Rewarding Smatch: Transition-Based AMR Parsing with Reinforcement Learning

Tahira Naseem, Abhishek Shah+4 more|arXiv (Cornell University)|May 31, 2019

Topic Modeling参考文献 41被引用 13

一句话总结

该论文通过使用 Smatch 分数作为密集奖励信号的强化学习，增强了基于栈-LSTM 的过渡式 AMR 解析器，结合了硬对齐与软对齐、基于 BERT 的上下文嵌入、命名实体与概念预处理以及标签分离。该方法实现了最先进性能，相较于先前工作，无标签 Smatch 提升 1 分，SRL 提升 2 分，通过策略梯度训练进一步提升性能，消融实验验证了各组件的贡献。

ABSTRACT

Our work involves enriching the Stack-LSTM transition-based AMR parser (Ballesteros and Al-Onaizan, 2017) by augmenting training with Policy Learning and rewarding the Smatch score of sampled graphs. In addition, we also combined several AMR-to-text alignments with an attention mechanism and we supplemented the parser with pre-processed concept identification, named entities and contextualized embeddings. We achieve a highly competitive performance that is comparable to the best published results. We show an in-depth study ablating each of the new components of the parser

研究动机与目标

• 通过将训练对齐到非可微且缺乏词级别监督的 Smatch 评估指标，提升基于过渡的 AMR 解析器性能。
• 通过结合 SEM 和 JAMR 的预训练硬对齐与注意力机制，解决训练中词到 AMR 节点对齐缺失的问题。
• 通过引入上下文嵌入（BERT）以及命名实体和概念的预处理，提升语义解析的准确性。
• 评估使用 Smatch 作为奖励信号的强化学习与策略梯度优化的有效性。
• 通过全面的消融研究，分离并分析每个架构与训练增强组件的贡献。

提出的方法

• 在 Stack-LSTM AMR 解析器中引入两阶段动作与标签预测头，以减小动作空间并提升搜索效率。
• 将预训练的硬对齐（来自 SEM 和 JAMR）与注意力机制结合，以在解码过程中动态优化词到节点的对齐。
• 应用基于 BERT 的上下文嵌入，并使用独立的基于 BERT 的标记器进行概念与命名实体识别，以丰富输入表示。
• 引入标签分离：将动作与标签预测解耦为两个独立的 softmax 层，以提升学习稳定性和性能。
• 采用自Critical 策略学习，以 Smatch 作为奖励信号，使用贪婪解析作为基线以减少梯度方差。
• 使用策略梯度目标：∇θLRL = (r(gs) − r(ĝ))∇θlog(pθ(gs))，其中 gs 为采样图，ĝ 为贪婪解析，探索率 ε = 0.05。

实验结果

研究问题

• RQ1 在强化学习中使用 Smatch 作为密集的、不可微的奖励信号，是否能相比标准最大似然训练提升 AMR 解析性能？
• RQ2 结合多种对齐方法（硬对齐与软对齐）对解析准确率与鲁棒性有何影响？
• RQ3 基于 BERT 的上下文嵌入以及命名实体与概念的预处理，在多大程度上提升了解析结果？
• RQ4 标签分离、基于注意力的对齐与强化学习各自对最终性能的贡献如何？
• RQ5 这些组件的组合是否能够超越现有 AMR 解析基准上的最先进结果？

主要发现

• 完整模型（配置 16）达到 81.5 的无标签 Smatch 分数，相比基础 Stack-LSTM 解析器（72.8）提升 1 分，相比 Guo 和 Lu（2018）的重实现领先 5 分。
• 使用 Smatch 奖励的强化学习相比最佳非 RL 模型提升 2 分，证明了基于策略的训练在评估指标上的有效性。
• 引入 BERT 嵌入相比非上下文词嵌入性能提升超过 1 分，其中仅使用 BERT 的模型（15）相比非 BERT 基线提升约 1 分。
• 硬对齐（SEM + JAMR）与基于注意力的软对齐结合，相比仅使用硬对齐提升 1 分。
• 使用基于 BERT 的标记器对命名实体与概念进行预处理，使 Smatch 分数提升超过 1 分，表明结构化输入预处理带来显著增益。
• Smatch 加权与标签分离均贡献显著，Smatch 加权提升 0.5 分，标签分离通过改善搜索控制提升性能，消融实验已证实。