[论文解读] Tag-Enhanced Tree-Structured Neural Networks for Implicit Discourse Relation Classification

Yi‐Zhong Wang, Sujian Li+3 more|arXiv (Cornell University)|Mar 3, 2018

Topic Modeling参考文献 22被引用 16

一句话总结

本文提出了一种增强标签的 Tree-LSTM 和 Tree-GRU 模型，通过整合句法解析树和短语成分标签，以提升隐式话语关系分类的性能。通过使用成分标签来控制树结构网络中的信息流动，该方法在 PDTB 2.0 数据集上实现了最先进性能，Level-1 分类准确率达到 45.21%，Level-2 分类准确率达到 46.23%，证明了句法监督在神经话语建模中的有效性。

ABSTRACT

Identifying implicit discourse relations between text spans is a challenging task because it requires understanding the meaning of the text. To tackle this task, recent studies have tried several deep learning methods but few of them exploited the syntactic information. In this work, we explore the idea of incorporating syntactic parse tree into neural networks. Specifically, we employ the Tree-LSTM model and Tree-GRU model, which are based on the tree structure, to encode the arguments in a relation. Moreover, we further leverage the constituent tags to control the semantic composition process in these tree-structured neural networks. Experimental results show that our method achieves state-of-the-art performance on PDTB corpus.

研究动机与目标

• 通过在深度学习模型中利用句法结构和成分标签，提升隐式话语关系分类性能。
• 探究树结构神经网络是否能更好地捕捉话语关系中的短语和句法信号。
• 探索成分标签在 Tree-LSTM 和 Tree-GRU 架构中控制语义组合的作用。
• 在 PDTB 2.0 基准上，实现 Level-1 和 Level-2 话语关系分类的最先进性能。

提出的方法

• 本文采用 Tree-LSTM 和 Tree-GRU 模型，利用句法解析树以自底向上的树结构方式编码论元。
• 将成分标签（如 NP、VP、ADJP）作为输入，用于控制 Tree-LSTM 和 Tree-GRU 中的门控机制，引导语义组合过程。
• 标签增强模型根据句法类别动态调节信息流动，从而提升有意义短语的表征能力。
• 在 PDTB 2.0 语料库上端到端训练模型，用于隐式话语关系分类。
• 该方法通过整合句法结构和基于标签的监督，提升了语义建模能力，超越了标准 RNN 或 CNN 模型。
• 使用 t-SNE 可视化分析学习到的成分标签嵌入，证实其语义一致性和功能分组特性。

实验结果

研究问题

• RQ1 树结构神经网络是否能通过更有效地建模句法结构，相比标准 RNN 或 CNN，提升隐式话语关系分类性能？
• RQ2 在语义组合过程中，成分标签如何影响 Tree-LSTM 和 Tree-GRU 模型中的门控机制？
• RQ3 将句法标签作为控制信号引入，是否能带来更优的表征学习效果，用于话语关系建模？
• RQ4 标签增强的树结构模型是否能在 PDTB 2.0 基准上，实现 Level-1 和 Level-2 分类的最先进性能？
• RQ5 学习到的成分标签嵌入是否具有语义意义且功能上一致？

主要发现

• 标签增强的 Tree-LSTM 模型在 Level-1 分类中达到 45.21% 的准确率，创下 PDTB 2.0 上的新 SOTA 记录。
• 标签增强的 Tree-GRU 模型在 Level-1 分类中达到 44.55% 的准确率，在所有系统中排名第二。
• 在 Level-2 分类中，标签增强的 Tree-LSTM 模型达到 46.23% 的准确率，优于所有先前方法。
• t-SNE 可视化结果表明，学习到的成分标签嵌入根据句法功能（如动词相关、名词相关、wh-词等）形成了有意义的聚类。
• 将句法标签整合到门控机制中，有助于提升语义组合能力，尤其在捕捉短语级话语信号方面表现更优。
• 结果表明，句法结构和成分标签是隐式话语关系分类中有效的归纳偏置。