[论文解读] Zero-Shot Cross-Lingual Dependency Parsing through Contextual Embedding Transformation

Haoran Xu, Philipp Koehn|arXiv (Cornell University)|Mar 3, 2021

Topic Modeling参考文献 26被引用 4

一句话总结

该论文提出一种零样本跨语言依存句法分析方法，通过利用语义级上下文嵌入转换，结合银标准对齐的平行句对与迭代归一化，缓解上下文嵌入的各向异性问题。该方法在Universal Dependencies 2.6数据集上优于当前最先进方法，在UAS和LAS指标上均取得显著提升，通过k均值聚类与正交Procrustes对齐映射多义词表示。

ABSTRACT

Linear embedding transformation has been shown to be effective for zero-shot cross-lingual transfer tasks and achieve surprisingly promising results. However, cross-lingual embedding space mapping is usually studied in static word-level embeddings, where a space transformation is derived by aligning representations of translation pairs that are referred from dictionaries. We move further from this line and investigate a contextual embedding alignment approach which is sense-level and dictionary-free. To enhance the quality of the mapping, we also provide a deep view of properties of contextual embeddings, i.e., anisotropy problem and its solution. Experiments on zero-shot dependency parsing through the concept-shared space built by our embedding transformation substantially outperform state-of-the-art methods using multilingual embeddings.

研究动机与目标

• 通过超越静态词级嵌入，转向语义级上下文表示，提升零样本跨语言依存句法分析性能。
• 通过利用平行语料库中的银标准对齐词对，消除对金标准词典的依赖。
• 解决上下文嵌入中导致零样本迁移性能下降的各向异性问题。
• 通过在转换前将多义词嵌入聚类为语义级表示，提升映射精度。
• 利用多语言BERT与线性变换，实现零样本依存句法分析的最先进性能。

提出的方法

• 使用Fast Align从平行单语语料中提取银标准对齐的词对。
• 应用单语BERT模型获取源语言与目标语言的上下文嵌入。
• 对目标语言侧的每类词型的上下文嵌入应用k均值聚类，以获得语义级表示。
• 利用对齐的源语言侧嵌入，同步在源语言侧构建语义级表示。
• 在转换前应用迭代归一化（IN）以减少上下文嵌入的各向异性。
• 通过Procrustes旋转在语义级嵌入对上推导线性变换矩阵，以对齐源语言与目标语言空间。

实验结果

研究问题

• RQ1 语义级上下文嵌入对齐是否在零样本跨语言依存句法分析中优于词级对齐？
• RQ2 使用银标准对齐平行数据的无词典方法是否优于依赖金标准词典的方法？
• RQ3 缓解上下文嵌入中的各向异性在多大程度上能提升零样本迁移性能？
• RQ4 对上下文嵌入进行k均值聚类能否有效分离多义词表示以提升映射效果？
• RQ5 所提方法与使用多语言fastText和mBERT的最先进方法在标准基准上的表现如何比较？

主要发现

• 所提语义级嵌入转换方法在所有零样本跨语言依存句法分析评估中，均取得高于词级映射的UAS与LAS得分。
• 该方法在Universal Dependencies 2.6数据集上优于使用多语言fastText与mBERT的最先进方法。
• 迭代归一化显著降低了上下文嵌入的各向异性，提升了线性变换的质量。
• 语义级聚类通过将不同词义分离至独立向量簇，提升了映射精度。
• 采用Fast Align与平行语料的无词典方法在无需金标准双语词典的情况下，实现了优异性能。
• 该方法在多种语言对中均表现出一致的性能提升，表明在零样本设置下具备稳健的泛化能力。