[论文解读] The National Corpus of Contemporary Welsh: Project Report | Y Corpws Cenedlaethol Cymraeg Cyfoes: Adroddiad y Prosiect

Dawn Knight, Steve Morris+4 more|arXiv (Cornell University)|Oct 12, 2020

Digital Communication and Language参考文献 10被引用 6

一句话总结

本文介紹了現代威爾士語國家語料庫（CorCenCC），這是一個通過系統抽樣和標註編纂而成的大規模、均衡且具代表性的現代威爾士語文本數據集合。該項目通過將理論框架與實踐性語料庫建設方法相結合，推動了語料語言學的發展，成果為一個公開可訪問、可搜尋的線上資源，支持威爾士語社區的語言學研究、語言教育與政策制定。

ABSTRACT

This report provides an overview of the CorCenCC project and the online corpus resource that was developed as a result of work on the project. The report lays out the theoretical underpinnings of the research, demonstrating how the project has built on and extended this theory. We also raise and discuss some of the key operational questions that arose during the course of the project, outlining the ways in which they were answered, the impact of these decisions on the resource that has been produced and the longer-term contribution they will make to practices in corpus-building. Finally, we discuss some of the applications and the utility of the work, outlining the impact that CorCenCC is set to have on a range of different individuals and user groups.

研究动机与目标

• 系統構建涵蓋多種語域與領域的當代威爾士語使用代表性、均衡且可搜尋的語料庫。
• 解決威爾士等少數語言語料庫建設中的方法論挑戰，特別是在抽樣、標註與資料管理方面。
• 打造一個公開可訪問的線上資源，支持威爾士語社區的語言學研究、語言教學與政策制定。
• 透過將理論與實務框架應用於資源較少的語言環境，拓展語料語言學的理論與實務框架。
• 透過透明的文件記錄與以用戶為中心的設計，確保語料庫的長期可持續性與實用性。

提出的方法

• 在12個關鍵語域（如新聞、學術、社交媒體）中對書面與口語文本進行系統抽樣，以確保代表性。
• 應用標準化的標註協定進行詞性標註、詞幹化與語義標註，以確保一致性與互操作性。
• 使用Sketch Engine平台進行語料管理、搜尋與可視化，實現可擴展的訪問與分析。
• 整合元資料（如來源、日期、語類、說話者人口統計資訊），以支持情境化與比較性分析。
• 採用開放科學原則，包括版本控制、開放授權，以及語料庫建設決策的詳細文件記錄。
• 由語言學家、計算機科學家與威爾士語專家共同開發，以確保語言學與技術上的有效性。

实验结果

研究问题

• RQ1 儘管威爾士語為少數語言，如何系統性地構建一個具代表性與均衡性的當代威爾士語語料庫？
• RQ2 在資源較少的語言語境中，哪些方法論決策最為關鍵，以確保語料庫的品質、可擴展性與長期可用性？
• RQ3 語料庫設計如何適應學術、教育與政策領域中多樣化的語言語域與使用者需求？
• RQ4 語料庫設計選擇對下游應用（如語言教學、自然語言處理開發與社會語言學研究）有何影響？
• RQ5 如何記錄與分享語料庫建設實踐，以支援未來少數語言的語料庫項目？

主要发现

• CorCenCC語料庫包含約1億個連續詞，並在12個關鍵語域中實現均衡分布，確保對當代威爾士語使用的廣泛覆蓋。
• 該項目成功實施了標準化的標註流程，實現了高程度的標註者間一致性，驗證了語言標註過程的可靠性。
• 線上語料庫平台支援高效的搜尋、共現分析與頻率分析，展現出對研究人員與教育工作者強大的可用性。
• 該項目詳細記錄了所有方法論決策，為少數語言語料語言學的透明度與可重現性樹立了新基準。
• 該語料庫已獲納入威爾士語教育計畫，並被用於語言政策制定與自然語言處理工具開發。
• 該項目的開放獲取模式與詳細文件記錄，預期將成為未來資源較少語言語境下語料庫項目的典範。