[论文解读] Towards Bridging the Digital Language Divide

Gábor Bella, Paula Helm+2 more|arXiv (Cornell University)|Jul 25, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本文介紹了 LiveLanguage 倡議，旨在透過社區驅動、協作開發的方式，建立具多元意識的詞彙資源，從而減少多語系人工智慧中的語言偏見。透過參與式方法將本地語言整合至全球詞彙資料庫（UKC），實現公平的語言表徵與跨語言連結，推動符合倫理、低偏見的語言科技設計。

ABSTRACT

It is a well-known fact that current AI-based language technology -- language models, machine translation systems, multilingual dictionaries and corpora -- focuses on the world's 2-3% most widely spoken languages. Recent research efforts have attempted to expand the coverage of AI technology to `under-resourced languages.' The goal of our paper is to bring attention to a phenomenon that we call linguistic bias: multilingual language processing systems often exhibit a hardwired, yet usually involuntary and hidden representational preference towards certain languages. Linguistic bias is manifested in uneven per-language performance even in the case of similar test conditions. We show that biased technology is often the result of research and development methodologies that do not do justice to the complexity of the languages being represented, and that can even become ethically problematic as they disregard valuable aspects of diversity as well as the needs of the language communities themselves. As our attempt at building diversity-aware language resources, we present a new initiative that aims at reducing linguistic bias through both technological design and methodology, based on an eye-level collaboration with local communities.

研究动机与目标

• 識別並解決多語系人工智慧系統中的語言偏見問題，其中資源較少的語言面臨系統性的代表性劣勢。
• 挑戰忽略本地語言與文化複雜性的自上而下、專家主導的語言科技開發模式。
• 將語言多樣性作為人工智慧的核心設計原則，確保少數語言與本地語言在數位基礎建設中不被邊緣化。
• 建立永續的、由社區主導的多語系詞彙資源開發模式，以保存文化身分並實現公平的存取。
• 展示一種可擴展、具倫理解釋的減免偏見方法，透過與本地機構及講者合作，降低語言科技中的偏見。

提出的方法

• 設計具多元意識的詞彙資料模型，於階層式多語系架構中同時支援核心（貿易）語言與衛星（本地）語言。
• 建立中央化的 LiveLanguage 資料目錄，提供標準化、開放式的多語詞彙存取，採用統一格式。
• 實施協作開發流程，由本地機構主導資源建立，LiveLanguage 提供工具、培訓與基礎建設支援。
• 將本地詞彙整合至 Universal Knowledge Core（UKC）——一個全球詞彙資料庫——以實現跨語言對映與全球發現。
• 提供開放原始碼工具，用於詞彙管理、視覺化與編輯，專為本地社區的非專家使用者量身打造。
• 成立非營利基金會（DataScientia），以確保核心組件的長期永續性與共享治理。

实验结果

研究问题

• RQ1 語言偏見在多語系語言科技中如何產生？其根源原因在當前人工智慧開發方法論中為何？
• RQ2 多語系詞彙資源的社區驅動、參與式設計在多大程度上可減少語言偏見？
• RQ3 哪些技術與方法論架構能促成資源較少與本地語言在全人類語言基礎設施中的公平整合？
• RQ4 如何管理智慧財產權與所有權，以賦予本地機構權能，同時確保全球互操作性？
• RQ5 機構合作在實現永續、具多元意識的語言科技發展中扮演何種角色？

主要发现

• 人工智慧系統中的語言偏見並非偶然，而是系統性的，源於偏愛主流語言且忽略文化與語言複雜性的設計選擇。
• LiveLanguage 倡議成功透過社區主導的發展，將多種本地阿爾卑斯語言（如 Mòcheno、Cimbrian、Ladin 與 Friulian）整合至多語系詞彙架構中。
• 本地機構保有其貢獻詞彙的完整智慧財產權，得以自主發布與應用這些資源。
• 將本地詞彙整合至 UKC 資料庫，實現了跨語言連結，使使用者能跨貿易語言與本地語言存取與導航多語系資料。
• 該計畫證明，與本地利益相關者採用協作、平等對等的模式，可產生品質更高、情境更準確且具倫理解釋的語言資源。
• DataScientia 基金會的成立確保了 LiveLanguage 生態系統的長期治理與永續發展，各利益相關方共享決策權力。