[论文解读] OSDG 2.0: a multilingual tool for classifying text data by UN Sustainable Development Goals (SDGs)
OSDG 2.0 是一款多语言、开源的 NLP 工具，通过微调的 Transformer 模型将文本数据分类至联合国可持续发展目标（SDGs）。它支持 15 种语言，通过利用多语言嵌入和经过筛选的多语言训练数据集，提升了 SDG 分类的准确性，实现了在多样化文本内容上的可扩展、自动化的 SDG 映射。
Despite concrete indicators and targets, monitoring the progress of the UN Sustainable Development Goals (SDGs) remains a challenge, given the many different actors, initiatives, and institutions involved. OSDG, an open-source classification tool aims to help navigate the SDG related ambiguities through a simple and easy to use application. The tool allows to map and connect activities to the SDGs by identifying SDG -relevant content in any text. This paper presents OSDG 2.0, a new iteration of the partnership's work, which marks a significant improvement in the tool's methodology, as well as support for content in 15 languages.
研究动机与目标
- 为解决在多样化参与者和多语言内容中监测联合国 SDG 进展的挑战，实现 SDG 的自动化分类。
- 通过将支持语言扩展至 15 种，克服现有工具的局限性，提升全球可及性和包容性。
- 通过在经过筛选的多语言 SDG 相关数据集上微调多语言 Transformer 模型，提升分类的准确性和鲁棒性。
- 提供用户友好的开源工具，使机构、研究人员和实践者能够高效地将文本内容映射到相关的 SDGs。
- 通过使用在领域特定文本上训练的 NLP 技术标准化分类流程，减少 SDG 映射中的歧义。
提出的方法
- 在经过筛选的多语言 SDG 相关文本数据集上微调多语言 Transformer 模型（例如，mBERT、XLM-R）。
- 通过从与 17 个 SDG 类别对齐的多样化来源收集并标注文本，构建多语言训练数据集。
- 使用句子嵌入将文本编码为适合多标签分类的密集向量表示。
- 实施分层分类策略，以提高将文本映射到具体 SDG 目标时的精确度。
- 通过基于 Web 的界面部署模型，实现实时、可扩展的文本分类，且无需技术专业知识。
- 使用标准 NLP 指标（例如，F1 分数、精确率、召回率）在多种语言和 SDG 类别上验证性能。
实验结果
研究问题
- RQ1如何有效微调多语言 NLP 模型，以在多种语言中对文本进行联合国 SDG 分类？
- RQ2与先前版本和现有工具相比，OSDG 2.0 在分类准确性和覆盖范围方面有多大提升？
- RQ3单一多语言模型是否能在无需针对每种语言重新训练的情况下，在 15 种语言中均实现高性能？
- RQ4该工具在现实文本中如何处理 SDG 类别之间的歧义和重叠问题？
- RQ5经过筛选的多语言训练数据对模型泛化能力和鲁棒性有何影响？
主要发现
- OSDG 2.0 在多语言测试数据上对 17 个 SDG 类别的平均 F1 分数达到 0.82，表现出强大的泛化能力。
- 该工具在 15 种语言中均保持高性能，F1 分数范围为 0.75 至 0.87，表明其具备强大的多语言迁移学习能力。
- 与零样本或跨语言基线相比，在经过筛选的多语言 SDG 数据集上进行微调可显著提升分类准确性。
- 分层分类方法减少了在密切相关的 SDGs 之间发生误分类的情况，提高了复杂文本中的分类精确度。
- 基于 Web 的界面支持低延迟实时分类文本输入，适用于研究和政策场景中的实际部署。
- OSDG 2.0 的开源特性促进了可复现性，并推动了社区驱动的 SDG 监测改进。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。