[论文解读] Neural Simile Recognition with Cyclic Multitask Learning and Local Attention

Jiali Zeng, Linfeng Song+4 more|arXiv (Cornell University)|Dec 19, 2019

Topic Modeling参考文献 33被引用 4

一句话总结

本文提出了一种带有局部注意力机制的循环多任务学习框架，用于神经类比识别，通过在类比句分类与成分抽取任务之间循环迭代传递输出，增强任务间的依赖关系。该方法在使用 BERT 时显著优于当前最先进模型，通过循环信息流提升注意力聚焦能力，并建模双向任务交互关系。

ABSTRACT

Simile recognition is to detect simile sentences and to extract simile components, i.e., tenors and vehicles. It involves two subtasks: {\it simile sentence classification} and {\it simile component extraction}. Recent work has shown that standard multitask learning is effective for Chinese simile recognition, but it is still uncertain whether the mutual effects between the subtasks have been well captured by simple parameter sharing. We propose a novel cyclic multitask learning framework for neural simile recognition, which stacks the subtasks and makes them into a loop by connecting the last to the first. It iteratively performs each subtask, taking the outputs of the previous subtask as additional inputs to the current one, so that the interdependence between the subtasks can be better explored. Extensive experiments show that our framework significantly outperforms the current state-of-the-art model and our carefully designed baselines, and the gains are still remarkable using BERT.

研究动机与目标

• 为解决标准多任务学习在捕捉类比识别子任务之间双向依赖关系方面的局限性。
• 通过聚焦比较词周围的局部上下文，减少全局注意力机制导致的注意力错误。
• 通过任务间迭代的循环信息流，提升类比成分抽取与句子分类的准确性。
• 探究循环信息传播是否能比标准多任务学习或基于解码的多任务学习更好地建模类比分类与成分抽取之间的相互依赖关系。
• 在中文类比识别任务上评估该框架的有效性，特别是基于 BERT 的编码器。

提出的方法

• 该框架将类比句分类与成分抽取组织成一个循环结构，其中一项任务的输出作为下一项任务的输入，按顺序形成循环。
• 在比较词中心的词表示上应用局部注意力机制，以增强对相关上下文的关注，减少远距离词语带来的噪声。
• 在将词表示传入 CRF 进行序列标注以完成成分抽取前，将其与局部注意力层的注意力权重进行拼接。
• 模型使用句子解码器重建输入句子，解码器状态与词表示结合，用于指导下一步的分类。
• 循环设计使得每个子任务在 K 次迭代中能逐步从其他所有任务的输出中获益，从而增强任务间相关性的建模。
• 该框架采用共享的双向 LSTM 编码器进行端到端训练，并联合优化分类与抽取任务的目标函数。

实验结果

研究问题

• RQ1 与标准多任务学习相比，类比识别子任务之间的循环信息流是否能提升性能？
• RQ2 在比较词周围使用局部注意力是否能减少注意力错误并提升对相关类比成分的关注？
• RQ3 该框架在性能上是否显著优于当前最先进模型，尤其是在使用 BERT 进行微调时？
• RQ4 类比分类与成分抽取之间的相互依赖关系在多大程度上提升了整体识别准确率？
• RQ5 该循环多任务学习设计能否推广至其他具有强子任务依赖关系的自然语言处理任务？

主要发现

• 所提出的循环多任务学习框架在中文类比识别基准上显著优于当前最先进模型。
• 该模型在性能上优于标准多任务学习和精心设计的基线模型，即使在使用 BERT 作为主干编码器时，性能增益依然显著。
• 局部注意力通过聚焦于受限的局部窗口，减少了无关词语（尤其是远离比较词的词语）带来的注意力干扰。
• 循环设计通过在两个任务上均提升 F1 分数，证明了其能更好地建模类比分类与成分抽取之间的双向依赖关系。
• 消融实验表明，循环信息流与局部注意力对性能提升具有独立且协同的作用。
• 该框架展现出强大的泛化潜力，对其他多任务自然语言处理任务（如方面级情感分析）具有积极启示。