[论文解读] Uzbek Sentiment Analysis based on local Restaurant Reviews

Sanatbek Matlatipov, Hulkar Rahimboeva+2 more|arXiv (Cornell University)|May 31, 2022

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本文提出了一项新颖的手动标注数据集，包含来自塔什干谷歌地图的8,210条乌兹别克语餐厅评论，使用星级评分（4–5星为正面，1–3星为负面）进行情感标注。该研究评估了多种模型，其中使用词和字符n-gram的逻辑回归模型达到91%的最高准确率，证明了预处理（尤其是词干化）在低资源黏着性语言（如乌兹别克语）中的有效性。

ABSTRACT

Extracting useful information for sentiment analysis and classification problems from a big amount of user-generated feedback, such as restaurant reviews, is a crucial task of natural language processing, which is not only for customer satisfaction where it can give personalized services, but can also influence the further development of a company. In this paper, we present a work done on collecting restaurant reviews data as a sentiment analysis dataset for the Uzbek language, a member of the Turkic family which is heavily affected by the low-resource constraint, and provide some further analysis of the novel dataset by evaluation using different techniques, from logistic regression based models, to support vector machines, and even deep learning models, such as recurrent neural networks, as well as convolutional neural networks. The paper includes detailed information on how the data was collected, how it was pre-processed for better quality optimization, as well as experimental setups for the evaluation process. The overall evaluation results indicate that by performing pre-processing steps, such as stemming for agglutinative languages, the system yields better results, eventually achieving 91% accuracy result in the best performing model

研究动机与目标

• 通过创建一个领域特定的数据集，解决低资源黏着性语言（如乌兹别克语）在情感分析资源方面的缺乏问题。
• 评估多种机器学习与深度学习模型在新收集的乌兹别克语餐厅评论数据集上的性能表现。
• 研究预处理步骤（尤其是词干化和停用词去除）对低资源环境下模型准确率的影响。
• 提供一个公开可用的数据集和代码库，以支持未来在乌兹别克语及类似语言上的自然语言处理研究。

提出的方法

• 通过网络爬虫从谷歌地图获取塔什干地区餐厅的URL，收集数据，重点关注本地乌兹别克菜系。
• 使用五星级评分系统对评论进行标注：4–5星标记为正面，1–3星为负面，其中1,000多条评论使用谷歌翻译API翻译成乌兹别克语。
• 预处理包括去除URL、标点符号和大小写转换，随后使用基于TF-IDF生成的停用词列表进行停用词去除。
• 应用基于乌兹别克语词尾的自定义形态学词干化器，以处理黏着性形态结构，提升分词与分析效果。
• 评估了多种模型：使用词和字符n-gram的逻辑回归、线性核SVM、RNN和CNN，且在使用和不使用fastText词嵌入的情况下进行对比。
• 评估使用标准指标：精确率、召回率、F1分数和准确率，未来工作计划采用交叉验证以减少偏差。

实验结果

研究问题

• RQ1 在低资源黏着性语言（如乌兹别克语）上，传统机器学习模型（如逻辑回归和SVM）在情感分析任务中的有效性如何？
• RQ2 在乌兹别克语中，预处理（尤其是词干化和停用词去除）在多大程度上提升了情感分类的准确率？
• RQ3 与传统模型相比，RNN和CNN等深度学习模型在相对较小的乌兹别克语情感分析数据集上的表现如何？
• RQ4 预训练词嵌入（如fastText）是否能提升低资源语言（如乌兹别克语）上的性能表现？
• RQ5 正面与负面评论之间的样本不平衡如何影响模型性能与泛化能力？

主要发现

• 使用词和字符n-gram的逻辑回归模型达到最高的91%准确率，优于其他所有模型。
• 仅使用字符n-gram的模型达到90%准确率，显示出对拼写变体更强的鲁棒性。
• 线性核SVM达到88%准确率，RNN和CNN模型分别达到88%和89.23%准确率，表明由于数据集规模限制，深度学习带来的性能增益有限。
• 使用基于乌兹别克语词尾的自定义词干化器显著提升了模型性能，实现了更准确的形态学分析。
• 使用基于TF-IDF的停用词列表进行停用词去除提升了模型准确率，证实了在低资源环境下使用语言特定停用词列表的重要性。
• 数据集经人工清洗后包含4,500条正面评论和3,710条负面评论，总计8,210条标注评论。