[论文解读] Natural Language Processing in Customer Service: A Systematic Review

Malak Mashaabi, Areej Alotaibi+3 more|arXiv (Cornell University)|Dec 16, 2022

Sentiment Analysis and Opinion Mining被引用 7

一句话总结

本篇系统性综述分析了2015年至2022年期间自然语言处理（NLP）在客户服务中的应用，研究领域、数据集、评估指标及研究趋势。研究识别出聊天机器人和问答系统为最主要的工具，其主要应用场景集中在电子商务、社交媒体和通用服务领域，并强调准确率、精确率、召回率和F1值为标准评估指标。同时，研究呼吁未来工作应提升数据多样性与对用户情绪的理解。

ABSTRACT

Artificial intelligence and natural language processing (NLP) are increasingly being used in customer service to interact with users and answer their questions. The goal of this systematic review is to examine existing research on the use of NLP technology in customer service, including the research domain, applications, datasets used, and evaluation methods. The review also looks at the future direction of the field and any significant limitations. The review covers the time period from 2015 to 2022 and includes papers from five major scientific databases. Chatbots and question-answering systems were found to be used in 10 main fields, with the most common use in general, social networking, and e-commerce areas. Twitter was the second most commonly used dataset, with most research also using their own original datasets. Accuracy, precision, recall, and F1 were the most common evaluation methods. Future work aims to improve the performance and understanding of user behavior and emotions, and address limitations such as the volume, diversity, and quality of datasets. This review includes research on different spoken languages and models and techniques.

研究动机与目标

• 分析2015年至2022年期间NLP在客户服务领域中的研究现状，涵盖研究领域、应用场景与方法论。
• 识别在基于NLP的客户服务研究中使用频率最高的数据集与评估指标。
• 审视现有研究中的局限性，特别是数据质量、多样性以及模型对用户情绪理解方面的不足。
• 探讨未来研究方向，包括提升模型性能及对用户行为与情绪的理解。
• 综合梳理多语言与多领域客户服务情境下所应用的NLP技术与模型。

提出的方法

• 利用涵盖2015年至2022年期间的五个主要科学数据库，开展系统性文献综述。
• 识别并分析聚焦于NLP在客户服务中应用的同行评审研究，包括聊天机器人与问答系统。
• 根据应用领域、数据集使用情况及准确率、精确率、召回率和F1等评估指标对研究进行分类。
• 审查所使用模型与技术，包括多语言NLP方法，以评估其跨语言适用性。
• 基于所选论文的主题与定量分析，综合归纳研究趋势、局限性与未来方向。
• 评估所用数据集的质量、体量与多样性，特别指出原始数据集与Twitter数据集的普遍使用。

实验结果

研究问题

• RQ1 哪些应用领域最频繁地采用NLP于客户服务中？其主要用例是什么？
• RQ2 在客户服务NLP研究中，最常使用的数据集有哪些？它们在规模与多样性方面如何比较？
• RQ3 在评估客户服务NLP模型时，最普遍采用的评估指标是什么？这些指标如何反映模型性能？
• RQ4 当前客户服务NLP研究中的关键局限性是什么？特别是在数据质量与情绪理解方面？
• RQ5 NLP在客户服务领域的未来研究方向有哪些？它们如何弥补现有研究的不足？

主要发现

• 聊天机器人与问答系统是最常见的NLP应用，其部署覆盖10个主要领域，其中电子商务、社交网络与通用客户服务最为常见。
• Twitter是第二常用的数据库，其次是有大量研究使用为特定应用而收集的原始、内部数据集。
• 准确率、精确率、召回率与F1值是最广泛报告的评估指标，表明研究重点集中于分类与意图识别性能。
• 尽管已有进展，研究局限性仍包括数据多样性不足、多语言覆盖有限，以及对用户情绪与行为背景建模不充分。
• 未来研究预计将聚焦于提升模型可解释性、改善情绪与上下文理解能力，并扩展数据集以包含更多样化与具代表性的样本。
• 本综述证实，NLP在客户服务领域正朝着更个性化、上下文感知的系统发展，但数据质量与可扩展性方面的挑战依然显著。