[论文解读] NusaCrowd: A Call for Open and Reproducible NLP Research in Indonesian Languages

Samuel Cahyawijaya, Alham Fikri Aji+9 more|arXiv (Cornell University)|Jul 21, 2022

Software Engineering Research被引用 4

一句话总结

NusaCrowd 提出了一项集中化、开放且可复现的印尼语自然语言处理（NLP）计划，通过精心整理的数据集手册注册表（NusaCatalogue）和标准化的数据加载器（NusaCrowd Data Hub）聚合数据集。通过支持社区驱动的贡献——包括数据集手册提交、数据加载器实现以及私有数据集发布——该计划缓解了数据稀缺与碎片化问题，推动了低资源印尼语NLP研究中的协作与可复现性。

ABSTRACT

At the center of the underlying issues that halt Indonesian natural language processing (NLP) research advancement, we find data scarcity. Resources in Indonesian languages, especially the local ones, are extremely scarce and underrepresented. Many Indonesian researchers do not publish their dataset. Furthermore, the few public datasets that we have are scattered across different platforms, thus makes performing reproducible and data-centric research in Indonesian NLP even more arduous. Rising to this challenge, we initiate the first Indonesian NLP crowdsourcing effort, NusaCrowd. NusaCrowd strives to provide the largest datasheets aggregation with standardized data loading for NLP tasks in all Indonesian languages. By enabling open and centralized access to Indonesian NLP resources, we hope NusaCrowd can tackle the data scarcity problem hindering NLP progress in Indonesia and bring NLP practitioners to move towards collaboration.

研究动机与目标

• 解决印尼语NLP数据集严重稀缺与碎片化的问题，特别是针对地方语言。
• 克服印尼语NLP研究中缺乏公开、可发现且可重用数据集的现状。
• 建立一个集中化、开放获取的平台，以提升数据的可发现性、互操作性与可复现性。
• 通过结构化的贡献路径与透明的评分系统，促进社区协作。
• 通过贡献积分与认可机制，激励研究人员共享私有或未充分利用的NLP数据集。

提出的方法

• 在受数据集手册框架启发的可搜索网络门户 NusaCatalogue 上，整理并托管公开NLP数据集元数据（数据集手册）。
• 通过GitHub实现每个数据集的标准化、可编程数据加载器脚本，确保数据访问的一致性与可复现性。
• 通过结合自动检查与人工审核的混合评估系统，实施质量控制。
• 采用贡献积分系统激励参与，积分授予数据集手册提交、数据加载器实现以及私有数据集发布等行为。
• 通过保留原始许可证并直接链接至源代码仓库与出版物，维护数据完整性。
• 将该计划组织为限时、社区驱动的行动（2022年6月25日至11月18日），每周跟踪进展，并于2023年ACL提交最终论文。

实验结果

研究问题

• RQ1 如何通过集中化、社区驱动的整理方式，缓解印尼语NLP中的数据稀缺与碎片化问题？
• RQ2 标准化、开放获取平台在多大程度上能提升印尼语NLP数据集的可发现性与可复现性？
• RQ3 贡献积分系统对激励研究人员分享私有或未充分利用的NLP数据集有多大影响？
• RQ4 协作性、开放的框架能否有效整合分布在不同印尼语言和机构中的分散NLP资源？
• RQ5 标准化的数据加载器与元数据在多大程度上能提升互操作性并降低印尼语NLP研究的入门门槛？

主要发现

• NusaCrowd 成功通过 NusaCatalogue 与 NusaCrowd Data Hub 建立了集中化、开放获取的印尼语NLP数据集平台。
• 该计划促成了跨多种印尼语的社区驱动贡献，包括数据集手册提交与数据加载器实现。
• 实施了透明的贡献积分系统，积分授予数据集手册提交、数据加载器开发以及私有数据集发布。
• 通过保留原始许可证并直接链接至源代码仓库与出版物，项目维护了数据完整性。
• 该行动最终形成了贡献矩阵并提交了ACL 2023的论文，证明了在低资源环境下大规模协作式NLP数据集整理的可行性。
• 通过Slack、WhatsApp与GitHub，该计划已建立起一个不断增长的贡献者社区，显示出持续参与的潜力。