[论文解读] Unsung Challenges of Building and Deploying Language Technologies for Low Resource Language Communities

Pratik Joshi, Christain Barnes+8 more|arXiv (Cornell University)|Dec 7, 2019

ICT in Developing Communities参考文献 20被引用 14

一句话总结

本文识别并分析了在低资源语言社区中构建和部署语言技术时被忽视的挑战，以印度严重资源匮乏的语言——贡迪语（Gondi）为案例研究。论文提出了一种以社区为中心的框架，强调可持续获取、参与式设计和激励驱动的采用机制，以确保技术在技术基准之外产生真实世界的影响。

ABSTRACT

In this paper, we examine and analyze the challenges associated with developing and introducing language technologies to low-resource language communities. While doing so, we bring to light the successes and failures of past work in this area, challenges being faced in doing so, and what they have achieved. Throughout this paper, we take a problem-facing approach and describe essential factors which the success of such technologies hinges upon. We present the various aspects in a manner which clarify and lay out the different tasks involved, which can aid organizations looking to make an impact in this area. We take the example of Gondi, an extremely-low resource Indian language, to reinforce and complement our discussion.

研究动机与目标

• 突出阻碍低资源语言社区（尤其是在多语言、农村环境中）部署语言技术的社会技术障碍。
• 解决高性能NLP模型与在数据和基础设施有限的边缘化社区中实际可用性和影响之间的差距。
• 证明社区整合、参与式设计和激励机制在低资源语言背景下实现可持续技术采用中的关键作用。
• 提出一种可复制的框架，用于构建和部署语言技术，优先考虑真实世界效用而非基准上的增量性能提升。
• 倡导从以数据为中心的NLP研究向以用户为中心、社区驱动的开发模式转变，以赋能代表性不足的语言群体。

提出的方法

• 对低资源语言环境中的信息交流、界面设计和部署策略进行面向问题的分析。
• 以贡迪语——一种低资源、濒危的德拉威语，约300万印度人使用——为主要案例研究，展示系统性挑战。
• 分析三个真实部署案例（Mobile Vaani、CAIS、CGNet Swara），以提取关于社区参与、激励结构和适应性技术设计的经验教训。
• 通过社区主导的本地志愿者招募和培训，强调参与式设计，以确保文化与语境的相关性。
• 与当地领袖和社区结构（如自组织赋能团体）建立反馈回路，以改善信息传播和采用效果。
• 提出一种优先考虑可访问性、可用性和长期可持续性的框架，而非技术性能指标，以真实世界影响作为成功标准。

实验结果

研究问题

• RQ1 在农村和多语言环境中，低资源语言社区部署语言技术面临哪些关键的社会技术挑战？
• RQ2 如何设计和部署语言技术，以确保在试点阶段之后仍能实现持续的社区参与和采用？
• RQ3 本地激励措施（包括经济和情境性激励）在使社区成员成为技术倡导者并扩大影响力方面发挥什么作用？
• RQ4 如何利用现有社区结构（如村长、自组织赋能团体）来改善信息传播和技术创新的采纳？
• RQ5 参与式设计和与本地社区的共同创造在实现更可持续、更具影响力的语言技术部署方面有哪些具体作用？

主要发现

• 由于在平台功能尚未完全实现时就向最终用户说明其预期用途，导致初期技术部署失败，用户期望不切实际。
• 通过培训并支付报酬的本地志愿者重新推出后，采用率显著提高，如Mobile Vaani平台在社区主导的推广后实现增长。
• CAIS平台通过与现有社区结构（如村庄自组织赋能团体）整合，确保信息传达到所有成员，包括无移动设备者，从而取得成功。
• CGNet Swara通过面对面工作坊和宣传会议扩大参与度，举办了超过50场培训活动，借助口口相传和同伴网络使超过2,000名社区成员受益。
• 激励机制——包括经济激励（如Learn2Earn、Mobile Vaani志愿者）和功能激励（如CAIS提供可操作的农业建议）——在推动早期参与和长期采用方面至关重要。
• 持续影响需要与当地领袖保持持续合作，并对技术进行本地现实适应，例如在移动设备覆盖率低的地区使用实体海报作为短信信息的备份。