[论文解读] RTHN: A RNN-Transformer Hierarchical Network for Emotion Cause Extraction

Rui Xia, Mengran Zhang+1 more|arXiv (Cornell University)|Jun 4, 2019

Sentiment Analysis and Opinion Mining参考文献 21被引用 13

一句话总结

该论文提出RTHN，一种新颖的RNN-Transformer层级网络，用于联合情绪原因抽取。该方法通过引入相对位置编码和全局预测编码的Transformer编码器，建模句间依赖关系。通过联合分类多个句子并捕捉句间相关性与因果关系，RTHN在ECE基准数据集上实现了76.77%的新SOTA F1分数，优于先前的SOTA结果72.69%。

ABSTRACT

The emotion cause extraction (ECE) task aims at discovering the potential causes behind a certain emotion expression in a document. Techniques including rule-based methods, traditional machine learning methods and deep neural networks have been proposed to solve this task. However, most of the previous work considered ECE as a set of independent clause classification problems and ignored the relations between multiple clauses in a document. In this work, we propose a joint emotion cause extraction framework, named RNN-Transformer Hierarchical Network (RTHN), to encode and classify multiple clauses synchronously. RTHN is composed of a lower word-level encoder based on RNNs to encode multiple words in each clause, and an upper clause-level encoder based on Transformer to learn the correlation between multiple clauses in a document. We furthermore propose ways to encode the relative position and global predication information into Transformer that can capture the causality between clauses and make RTHN more efficient. We finally achieve the best performance among 12 compared systems and improve the F1 score of the state-of-the-art from 72.69\% to 76.77\%.

研究动机与目标

• 解决先前情绪原因抽取方法将句子视为独立分类任务的局限性，忽略句间关系。
• 在文档中建模句子之间的相关性（语义相似性）与因果性（时间与逻辑依赖性），以实现更准确的情绪原因推理。
• 开发一种联合分类框架，同步预测文档中所有句子的情绪原因或非原因，提升泛化能力与一致性。
• 将显式的结构先验信息——相对位置与全局预测信息——融入Transformer架构，以增强因果建模能力。
• 在基准ECE语料库上展示优越性能，实现情绪原因抽取任务的新SOTA结果。

提出的方法

• 使用底层的RNN编码器（Bi-LSTM）将每个句子中的词编码为密集的句级表征。
• 在句级应用堆叠的Transformer编码器，以建模文档中多个句子之间的长距离依赖与相关性。
• 引入相对位置编码（RPE）以保留句子间的顺序与时间结构，提升因果建模效果。
• 引入全局预测编码（GPE）以建模所有句子上的联合概率分布，强化预测的稀疏性与一致性。
• 在Transformer的自注意力机制中结合RPE与GPE，增强对因果相关句子的关注度。
• 使用最终的Softmax层，对所有句子进行同步、联合分类，判断其是否为情绪原因。

实验结果

研究问题

• RQ1 层级化的RNN-Transformer架构能否通过联合建模情绪原因抽取中的多个句子，提升性能，超越独立句子分类的方法？
• RQ2 Transformer编码器在捕捉情绪原因推理中句间相关性与因果依赖关系方面效果如何？
• RQ3 相对位置编码与全局预测编码在多大程度上提升了模型推断句子间因果关系的能力？
• RQ4 在词级别使用RNN、在句级别使用Transformer的混合架构，是否比仅使用RNN或仅使用Transformer的模型表现更优？
• RQ5 显式的结构先验信息（RPE与GPE）对情绪原因抽取最终F1分数的贡献有多大？

主要发现

• RTHN在基准ECE语料库上实现了76.77%的新SOTA F1分数，超越了先前的SOTA结果72.69%。
• 消融实验表明，移除全局预测编码（RTHN-No-GPE）导致F1分数下降超过3个百分点（降至73.14%），证实其关键作用。
• 移除相对位置编码（RTHN-No-RPE）导致F1分数显著下降至41.45%，表明其在建模因果顺序方面的重要性。
• 使用绝对位置嵌入替代相对位置编码（RTHN-APE）仅获得56.94%的F1分数，表明相对位置对性能至关重要。
• RNN-Transformer混合架构（RTHN）的表现优于仅使用RNN（RRHN，F1=75.34%）与仅使用Transformer（TTHN，F1=69.52%）的组合，验证了该设计选择的有效性。
• 注意力权重分析表明，模型将最高的注意力权重分配给真实的情绪原因句子，且在正确原因句上的注意力分布最为集中（例如，示例中β₃,₄ = 0.66）。