[论文解读] Multilingual Open Text Release 1: Public Domain News in 44 Languages

Chester Palen-Michel, June Kim+1 more|arXiv (Cornell University)|Jan 14, 2022

Natural Language Processing Techniques被引用 6

一句话总结

本文介紹了多語言開放文本（MOT）發布1.0版，這是一個公開可取得、採用寬鬆許可協議的語料庫，包含280萬篇新聞文章和100萬則短訊息，涵蓋44種語言，資料來源為美國之音（Voice of America）的公有領域新聞網站（2001–2022年）。該語料庫經過精心整理，針對部分低資源語言提供可靠的句子切分與詞語分割，是一份高品質、可擴展的資源，適用於訓練與評估低資源語言的自然語言處理模型。

ABSTRACT

We present Multilingual Open Text (MOT), a new multilingual corpus containing text in 44 languages, many of which have limited existing text resources for natural language processing. The first release of the corpus contains over 2.8 million news articles and an additional 1 million short snippets (photo captions, video descriptions, etc.) published between 2001--2022 and collected from Voice of America's news websites. We describe our process for collecting, filtering, and processing the data. The source material is in the public domain, our collection is licensed using a creative commons license (CC BY 4.0), and all software used to create the corpus is released under the MIT License. The corpus will be regularly updated as additional documents are published.

研究动机与目标

• 解決自然語言處理領域中低資源語言高品質、公開可取得的文字資料稀缺的問題。
• 從單一、已建立的新聞來源建立可靠、採用寬鬆許可協議的多語言語料庫，以確保資料的一致性與品質。
• 透過語言專用工具與自訂模型，提升低資源語言的句子切分與詞語分割支援。
• 提供可擴展、定期更新的資源，支援語言識別、文字分類與命名實體辨識等下游自然語言處理任務。
• 作為訓練多語言模型以及建立低資源語言的半平行或標註資料集的基礎。

提出的方法

• 從美國之音的多語言新聞網站收集文字內容，專注於2001至2002年間發布的公有領域內容。
• 建立可擴展的資料抓取管道，並保留元資料，包括發佈日期與來源網址。
• 使用語言專用工具（如PyThaiNLP、amseg、Stanza）針對低資源語言實現可靠的詞語分割與句子切分。
• 針對缺乏強大切分工具的語言，以MOT中的段落分隔點訓練自訂的Ersatz模型。
• 應用過濾與去重機制，確保資料品質，並移除非文字或低品質內容。
• 以CC BY 4.0許可釋出語料庫，並以MIT許可釋出所有處理軟體，確保可重現性與重用性。

实验结果

研究问题

• RQ1 能否從單一、採用寬鬆許可協議的新聞來源，構建一個大規模、高品質的多語言語料庫，以支援低資源語言的自然語言處理？
• RQ2 在現有自然語言處理工具較為有限的情況下，如何實現低資源語言的可靠句子切分與詞語分割？
• RQ3 與網路爬蟲取得的語料庫相比，經過精心整理、來源特定的語料庫在低資源語言的資料品質與一致性方面，能多大程度上表現更優？
• RQ4 採用寬鬆許可、公開可取得的語料庫，能否降低研究人員與低資源語言使用者參與自然語言處理研究的門檻？
• RQ5 針對低資源語言，使用在領域內文字上訓練的自訂Ersatz模型進行句子切分，其效果如何？

主要发现

• MOT發布1.0語料庫包含超過280萬篇新聞文章與100萬則短訊息，涵蓋44種語言，其中包含大量低資源語言，如豪薩語、阿姆哈拉語、奧羅莫語、提格里尼亞語與基隆達語。
• 透過專用工具（如amseg用於阿姆哈拉語與提格里尼亞語，PyThaiNLP用於泰語）成功實現18種語言的可靠句子切分與詞語分割。
• 語料庫包含發佈時間元資料與來源網址，有利於未來用於半平行文本生成與時間序列分析。
• 在MOT段落分隔點上訓練的自訂Ersatz模型，提升了多語言模型支援較弱的語言之句子切分表現。
• 語料庫以CC BY 4.0許可釋出，所有處理軟體以MIT許可釋出，確保研究上的廣泛可及性與重用性。
• 作者發現多語言模型（如Ersatz）在使用非拉丁字母（如阿姆哈拉語/提格里尼亞語的吉茲字母）或希臘標點符號的語言上存在限制，這也說明使用語言專用工具的必要性。