[论文解读] Subword Sampling for Low Resource Word Alignment

Ehsaneddin Asgari, Masoud Jalili Sabet+3 more|arXiv (Cornell University)|Dec 21, 2020

Natural Language Processing Techniques参考文献 27被引用 4

一句话总结

本文提出了一种子词采样方法，通过聚合多种子词分词结果，在低资源语言对中提升词级对齐性能，采用迭代贝叶斯优化框架选择最优子词。该方法仅使用5,000组平行句，在六种语言对上即达到与100,000+句词级模型相当的F1分数，且可迁移的超参数使未见语言实现零样本性能提升。

ABSTRACT

Annotation projection is an important area in NLP that can greatly contribute to creating language resources for low-resource languages. Word alignment plays a key role in this setting. However, most of the existing word alignment methods are designed for a high resource setting in machine translation where millions of parallel sentences are available. This amount reduces to a few thousands of sentences when dealing with low-resource languages failing the existing established IBM models. In this paper, we propose subword sampling-based alignment of text units. This method's hypothesis is that the aggregation of different granularities of text for certain language pairs can help word-level alignment. For certain languages for which gold-standard alignments exist, we propose an iterative Bayesian optimization framework to optimize selecting possible subwords from the space of possible subword representations of the source and target sentences. We show that the subword sampling method consistently outperforms word-level alignment on six language pairs: English-German, English-French, English-Romanian, English-Persian, English-Hindi, and English-Inuktitut. In addition, we show that the hyperparameters learned for certain language pairs can be applied to other languages at no supervision and consistently improve the alignment results. We observe that using $5K$ parallel sentences together with our proposed subword sampling approach, we obtain similar F1 scores to the use of $100K$'s of parallel sentences in existing word-level fast-align/eflomal alignment methods.

研究动机与目标

• 解决平行语料仅包含数千句话的低资源语言对中词对齐不可靠的问题。
• 通过实现跨语言间语言单位的精确映射，提升低资源语言的标注投影性能。
• 开发一种在低资源设置下优于标准词级对齐方法的子词粒度对齐方法。
• 在无需额外监督的情况下，实现所学超参数在不同语言对间的可迁移性。

提出的方法

• 从源句和目标句可能的BPE子词分词空间中采样，以探索多样化的文本粒度。
• 采用迭代贝叶斯优化框架，基于具备参考数据的语言的黄金标准对齐结果，选择最有效的子词候选。
• 通过字节对编码（BPE）生成子词表示，并考虑多种分词结果以增强对齐鲁棒性。
• 该框架优化子词采样相关超参数（如子词合并阈值），以在保留的黄金标准对齐上最大化F1分数。
• 该方法在特定语言对的黄金标准对齐上进行训练，随后在其他语言对上无需进一步监督即可应用。
• 其核心洞察在于：结合多种子词粒度可提升对齐性能，尤其在训练数据稀缺时更为显著。

实验结果

研究问题

• RQ1 在仅含少量平行句子的低资源语言对中，子词采样能否提升词级对齐性能？
• RQ2 与固定词级对齐相比，聚合多种子词分词结果在多大程度上提升对齐准确率？
• RQ3 在某一语言对上学习到的超参数能否在无监督条件下有效迁移到其他语言对？
• RQ4 子词采样在多大程度上可减少实现与高资源词级模型相当性能所需的平行句子数量？
• RQ5 该方法在包括类型学上相距较远的语言对在内的多种语言对中，是否能保持一致的性能提升？

主要发现

• 该子词采样方法在六种语言对（英语-德语、英语-法语、英语-罗马尼亚语、英语-波斯语、英语-印地语、英语-因纽皮亚特语）上持续优于词级对齐方法。
• 仅使用5,000组平行句子，该方法即达到与标准词级对齐方法使用100,000+句子相当的F1分数。
• 在英语-因纽皮亚特语对中，该方法仅用5,000句话即达到340,000句词级模型的F1分数。
• 在英语-波斯语对中，该方法仅用5,000句话即达到600,000句词级模型的F1分数。
• 在无监督条件下，于某一语言对上学习到的超参数成功迁移到其他语言对，持续提升对齐结果。
• 该方法展现出强大的泛化能力，即使在50,000至600,000句的中资源设置下，也能实现高质量对齐。