[论文解读] Open Event Extraction from Online Text using a Generative Adversarial Network

Rui Wang, Deyu Zhou+1 more|arXiv (Cornell University)|Aug 25, 2019

Topic Modeling参考文献 27被引用 6

一句话总结

该论文提出对抗性神经事件模型（AEM），一种基于生成对抗网络的开放域事件抽取方法，通过生成器网络和判别器网络建模事件，以提升真实感与效率。AEM 在长文本上显著优于贝叶斯基线模型，新闻文章的 F1 值提升达 15.5%，且训练时间大幅减少。

ABSTRACT

To extract the structured representations of open-domain events, Bayesian graphical models have made some progress. However, these approaches typically assume that all words in a document are generated from a single event. While this may be true for short text such as tweets, such an assumption does not generally hold for long text such as news articles. Moreover, Bayesian graphical models often rely on Gibbs sampling for parameter inference which may take long time to converge. To address these limitations, we propose an event extraction model based on Generative Adversarial Nets, called Adversarial-neural Event Model (AEM). AEM models an event with a Dirichlet prior and uses a generator network to capture the patterns underlying latent events. A discriminator is used to distinguish documents reconstructed from the latent events and the original documents. A byproduct of the discriminator is that the features generated by the learned discriminator network allow the visualization of the extracted events. Our model has been evaluated on two Twitter datasets and a news article dataset. Experimental results show that our model outperforms the baseline approaches on all the datasets, with more significant improvements observed on the news article dataset where an increase of 15\% is observed in F-measure.

研究动机与目标

• 解决现有贝叶斯模型的局限性，即假设文档中所有词语均源自单一事件，该假设在长文本（如新闻文章）中失效。
• 通过用对抗训练替代迭代推理，克服传统模型中 Gibbs 采样收敛缓慢的问题。
• 实现在短文本社交媒体与长文本新闻文章等多种文本类型上的有效事件抽取。
• 通过训练好的判别器网络提供可可视化、低维的事件特征表示。
• 在保持或提升真实在线文本数据集上抽取性能的同时，提高计算效率。

提出的方法

• 使用生成器网络将来自狄利克雷先验的随机噪声映射为潜在事件表征，建模实体、地点、关键词和日期的分布。
• 训练判别器网络以区分真实输入文档与从潜在事件重建的生成文档。
• 采用对抗训练优化生成器，最小化判别器区分真实文档与生成文档的能力。
• 利用训练好的判别器的特征表示，通过 t-SNE 实现抽取事件的可视化与聚类。
• 使用联合损失函数结合对抗损失与重构损失，以提升生成事件结构化文档的质量。
• 调整超参数，如判别器迭代次数、隐藏层大小与生成器深度，以评估模型的鲁棒性与性能。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否有效从开放域在线文本中抽取结构化事件表征，尤其在长篇文档中？
• RQ2 与传统贝叶斯图模型（如 LEM 和 DPEMM）相比，对抗训练是否能提升事件抽取性能？
• RQ3 与贝叶斯模型中基于 Gibbs 采样的推理相比，所提模型在训练时间上减少了多少？
• RQ4 判别器学习到的特征是否能实现有意义的事件可视化与聚类？
• RQ5 模型性能在不同文本类型（如短篇推文与长篇新闻文章）之间如何变化？

主要发现

• 在 Google 新闻文章数据集上，AEM 相较于 LEM 基线模型 F1 值提升 15.5%，证明其在长篇文本上的优越性能。
• 在 Twitter 数据集上，AEM 相较于 LEM 提升 F1 值 4.4%，相较 DPEMM 提升 3.7%，表明在短文本中也保持一致的性能增益。
• 该模型将训练时间减少至 LEM 和 DPEMM 所需时间的极小部分，尤其在 Google 新闻等大规模数据集上提升显著。
• 五层生成器架构表现最佳，在 Google 数据集上达到 96.7% 的 F1 值，而最差配置仍达 85.7%。
• t-SNE 可视化结果表明，描述同一事件的文档被聚类为紧密的簇，验证了所学习特征的判别能力。
• 判别器的特征可实现有效的事件可视化，提供了超越标准事件抽取指标的可解释性。