[论文解读] Transferring Knowledge Distillation for Multilingual Social Event Detection

Jiaqian Ren, Hao Peng+7 more|arXiv (Cornell University)|Aug 6, 2021

Topic Modeling参考文献 55被引用 8

一句话总结

本文提出了一种多语言图神经网络（GNN）框架，利用跨语言词嵌入在多语言数据流中检测社交事件，通过一种新颖的跨语言知识蒸馏（CLKD）机制，将英语的知识迁移至低资源语言，即使在低资源语言中也能实现有效的检测，在合成数据集和真实世界数据集上均表现出色。

ABSTRACT

Recently published graph neural networks (GNNs) show promising performance at social event detection tasks. However, most studies are oriented toward monolingual data in languages with abundant training samples. This has left the more common multilingual settings and lesser-spoken languages relatively unexplored. Thus, we present a GNN that incorporates cross-lingual word embeddings for detecting events in multilingual data streams. The first exploit is to make the GNN work with multilingual data. For this, we outline a construction strategy that aligns messages in different languages at both the node and semantic levels. Relationships between messages are established by merging entities that are the same but are referred to in different languages. Non-English message representations are converted into English semantic space via the cross-lingual word embeddings. The resulting message graph is then uniformly encoded by a GNN model. In special cases where a lesser-spoken language needs to be detected, a novel cross-lingual knowledge distillation framework, called CLKD, exploits prior knowledge learned from similar threads in English to make up for the paucity of annotated data. Experiments on both synthetic and real-world datasets show the framework to be highly effective at detection in both multilingual data and in languages where training samples are scarce.

研究动机与目标

• 解决多语言和低资源语言中社交事件检测的空白，因为现有大多数GNN仅限于高资源单语言设置。
• 通过在节点级别和语义级别使用跨语言词嵌入对齐跨语言消息，实现在多语言数据流中的有效事件检测。
• 通过新颖的跨语言知识蒸馏框架（CLKD），利用基于英语的事件检测先验知识，克服较少使用语言的数据稀缺问题。
• 开发一种统一的消息图编码策略，将多语言实体和语义整合到单一GNN可学习表示空间中。

提出的方法

• 构建一个消息图，其中节点代表消息，边代表实体之间的关系，并对跨语言的实体进行对齐。
• 使用跨语言词嵌入将非英语消息表示投影到共享的英语语义空间中，实现语义级别的对齐。
• 应用GNN模型统一编码统一的多语言消息图，捕捉跨语言的关系和上下文模式。
• 设计一种跨语言知识蒸馏（CLKD）框架，将预训练的英语GNN的知识迁移至目标低资源语言模型。
• 使用从英语模型蒸馏出的软标签训练低资源模型，即使在标注数据有限的情况下也能提升性能。
• 通过使用跨语言嵌入映射等效实体，对齐跨语言的节点表示，确保一致的语义理解。

实验结果

研究问题

• RQ1 基于GNN的框架是否能通过在节点和语义级别对齐跨语言消息，有效检测多语言数据流中的社交事件？
• RQ2 与单语言基线相比，集成跨语言词嵌入在多语言事件检测性能方面有何提升？
• RQ3 从高资源英语数据中进行知识蒸馏，在标注样本有限的低资源语言中，能在多大程度上提升事件检测性能？
• RQ4 所提出的框架在多语言社交媒体流中面对语言差异和实体歧义时，其鲁棒性如何？

主要发现

• 所提出的框架在合成数据集和真实世界多语言数据集上均表现出色，证明了其在多样化语言组合中的有效性。
• 使用跨语言词嵌入实现了不同语言间消息的有意义语义对齐，提升了消息图的一致性。
• CLKD框架通过利用英语的预训练知识，显著提升了低资源语言中的检测准确率，有效补偿了数据稀缺问题。
• 采用多语言消息图编码的GNN模型在多语言事件检测任务中优于单语言基线模型。
• 即使在训练数据有限的语言中检测事件，该框架仍保持高性能，证实了跨语言知识蒸馏的价值。