[论文解读] TUNIZI: a Tunisian Arabizi sentiment analysis Dataset

Chayma Fourati, Abir Messaoudi+1 more|arXiv (Cornell University)|Apr 29, 2020

Sentiment Analysis and Opinion Mining被引用 9

一句话总结

本文介绍了 TUNIZI，这是首个公开可用的突尼斯阿拉伯语（Tunisian Arabizi）情感分析数据集——一种使用拉丁字母和数字书写的突尼斯方言。该数据集从 YouTube 评论中收集，经过去除链接和标点符号的预处理，并由五名本土突尼斯语者手动标注，包含 9,210 条句子，情感标签分布均衡（47% 为正面，53% 为负面），为低资源北非方言的深度学习研究提供了支持。

ABSTRACT

On social media, Arabic people tend to express themselves in their own local dialects. More particularly, Tunisians use the informal way called "Tunisian Arabizi". Analytical studies seek to explore and recognize online opinions aiming to exploit them for planning and prediction purposes such as measuring the customer satisfaction and establishing sales and marketing strategies. However, analytical studies based on Deep Learning are data hungry. On the other hand, African languages and dialects are considered low resource languages. For instance, to the best of our knowledge, no annotated Tunisian Arabizi dataset exists. In this paper, we introduce TUNIZI a sentiment analysis Tunisian Arabizi Dataset, collected from social networks, preprocessed for analytical studies and annotated manually by Tunisian native speakers.

研究动机与目标

• 为使用拉丁字母书写的突尼斯阿拉伯语这一低资源阿拉伯方言，解决其缺乏标注数据集的问题。
• 通过提供一个平衡且具有代表性的数据集，支持北非自然语言处理中的情感分析研究。
• 通过支持基于深度学习的客户情感分析、市场营销和社交媒体监控应用，推动突尼斯网络内容的分析。
• 通过发布一个公开可访问的数据集，促进对代表性不足的非洲语言的研究。

提出的方法

• 从涵盖政治、体育、喜剧和突尼斯音乐等多样化主题的 YouTube 评论中收集数据。
• 使用自定义脚本自动过滤，排除法语和英语评论。
• 通过人工校对确保仅保留突尼斯阿拉伯语内容，排除非突尼斯方言内容。
• 预处理步骤包括去除 URL、表情符号和标点符号，以统一文本格式。
• 由五名受过硕士或博士学位教育的本土突尼斯语者进行人工情感标注，确保语言准确性。
• 通过两名女性标注者评估标注者间一致性，以验证标签一致性和数据集质量。

实验结果

研究问题

• RQ1 目前针对突尼斯阿拉伯语的标注数据集处于何种状态？现有资源中存在哪些空白？
• RQ2 如何从真实社交媒体内容中构建一个平衡且具有代表性的突尼斯阿拉伯语情感分析数据集？
• RQ3 在非正式且非标准拼写法的背景下，收集和预处理突尼斯阿拉伯语文本用于自然语言处理任务面临哪些挑战？
• RQ4 母语者人工标注在确保低资源方言高质量情感标签方面有多有效？
• RQ5 TUNIZI 在支持未来针对北非阿拉伯方言的深度学习模型进行情感分析方面具有多大潜力？

主要发现

• TUNIZI 是首个公开可用的突尼斯阿拉伯语情感分析数据集，包含 9,210 条句子。
• 该数据集具有平衡性，正面评论 4,372 条，负面评论 4,838 条，分别占总数的 47% 和 53%。
• 预处理后，数据集包含 79,862 个词和 22,850 个唯一词，表明其语言多样性。
• 通过两名女性标注者的评估，标注过程实现了高可靠性，确保了标签的一致性。
• 数据集来源于多种内容类型，包括政治、喜剧和突尼斯音乐，增强了其代表性。
• 该数据集已公开发布于 GitHub，以支持未来对代表性不足的非洲语言的自然语言处理研究。