[论文解读] Predicting Directionality in Causal Relations in Text

Pedram Hosseini, David Broniatowski+1 more|arXiv (Cornell University)|Mar 25, 2021

Topic Modeling参考文献 38被引用 8

一句话总结

本文评估了 BERT 和 SpanBERT 在文本中预测因果关系方向性方面的能力，发现 SpanBERT 在长跨度上表现优于 BERT，且跨句和隐式因果关系尤为具有挑战性。作者提出了 CREST，一个统一框架，用于整合分散的因果关系数据集，以提升自然语言处理领域的可复现性和基准测试能力。

ABSTRACT

In this work, we test the performance of two bidirectional transformer-based language models, BERT and SpanBERT, on predicting directionality in causal pairs in the textual content. Our preliminary results show that predicting direction for inter-sentence and implicit causal relations is more challenging. And, SpanBERT performs better than BERT on causal samples with longer span length. We also introduce CREST which is a framework for unifying a collection of scattered datasets of causal relations.

研究动机与目标

• 评估基于 Transformer 的模型在文本中预测因果关系方向性能力。
• 识别在预测跨句和隐式因果关系方向性时面临的挑战。
• 开发一个统一框架，整合异构的因果关系数据集，以提升自然语言处理研究中的一致性和可重用性。
• 为未来基于预训练语言模型的因果方向预测研究提供基线。

提出的方法

• 在两个因果关系数据集（ESL，显式、短跨度；PDTB3，隐式、长跨度）上微调 BERT 和 SpanBERT。
• 使用二分类头预测 span1 是否导致 span2 或反之，将方向性预测视为序列级分类任务。
• 应用 CREST 统一模式，通过将各数据集字段映射到统一格式，实现对多个因果关系数据集的标准化与整合。
• 实施数据划分策略，防止训练/验证/测试集之间出现上下文重叠，避免数据泄露。
• 通过引入 [unused*] 标记来标识跨度边界，优化注意力机制对相关跨度的关注。
• 对误分类样本进行定性错误分析，识别失败模式，尤其关注跨句和隐式关系的处理问题。

实验结果

研究问题

• RQ1 BERT 和 SpanBERT 在文本中预测因果关系方向性的能力如何？
• RQ2 哪些因素（如跨度长度、关系类型（显式 vs. 隐式）、句内 vs. 句间）会影响模型性能？
• RQ3 统一框架能否提升分散因果关系数据集的互操作性和可用性？
• RQ4 为何模型在处理跨句和隐式因果关系时表现不佳？如何改进输入表示？

主要发现

• 在 PDTB3 数据集上，SpanBERT 表现优于 BERT，F1 得分为 0.86，而 BERT 为 0.79。
• 在 ESL 数据集上，BERT 表现优于 SpanBERT，F1 得分为 0.83，而 SpanBERT 在该数据集上为 0.86。
• 跨句因果关系更难分类，模型常因无法捕捉长距离依赖而失败。
• 隐式因果关系构成重大挑战，因模型在缺乏显式因果连接词的情况下难以推断方向性。
• 在 $D_2$（ESL）上观察到模型收敛问题，可能由于训练数据量有限。
• CREST 框架成功将多个因果关系数据集统一为统一模式，实现了数据处理与基准测试的一致性。