[论文解读] The Decades Progress on Code-Switching Research in NLP: A Systematic Survey on Trends and Challenges

Genta Indra Winata, Alham Fikri Aji+2 more|arXiv (Cornell University)|Dec 19, 2022

Text Readability and Simplification被引用 4

一句话总结

本篇系统性综述整合了1978年至2022年间超过400篇关于代码混用的NLP论文，分析了语言、任务、方法和数据集的趋势。研究追溯了从语言学理论到神经网络与预训练模型的演变历程，识别出多语言NLP中的关键挑战，并为社交媒体和语音应用中的代码混用语言处理指明了未来的研究方向。

ABSTRACT

Code-Switching, a common phenomenon in written text and conversation, has been studied over decades by the natural language processing (NLP) research community. Initially, code-switching is intensively explored by leveraging linguistic theories and, currently, more machine-learning oriented approaches to develop models. We introduce a comprehensive systematic survey on code-switching research in natural language processing to understand the progress of the past decades and conceptualize the challenges and tasks on the code-switching topic. Finally, we summarize the trends and findings and conclude with a discussion for future direction and open questions for further investigation.

研究动机与目标

• 为过去数十年间NLP领域中代码混用研究提供系统性、大规模的综述。
• 分析方法的演变历程——从基于规则和统计模型到神经网络与预训练模型——涵盖不同语言组合与任务。
• 识别关键研究挑战，包括数据稀缺、多语言泛化能力以及代码混用NLP中的任务多样性。
• 绘制数据集、任务与学术会议的版图，以指导未来研究，并突出尚未充分探索的语言对与应用场景。
• 考察语言学理论对NLP方法的影响，并评估社交媒体与语音助手对研究趋势的影响。

提出的方法

• 从ACL Anthology、ISCA论文集及研究人员存储库中收集并人工标注了400余篇论文，使用如'code-switching'、'code-mixing'和'mixed-language'等标准化关键词。
• 开发了一套结构化标注方案，涵盖语言类别（双语、三语、四语及以上）、会议类型（会议、研讨会）以及方法类别（基于规则、神经网络、预训练模型）。
• 将NLP任务划分为文本与语音两类，包括情感分析、命名实体识别、语音识别以及文本到语音合成。
• 利用*CL与ISCA会议的数据追踪时间趋势，显示2015年后代码混用研究显著增长。
• 分析语言学与社会语言学理论对NLP模型设计的影响，尤其在早期与近期研究中。
• 根据数据来源（社交媒体、语音录音、新闻等）对数据集进行分类，并评估从语言约束到端到端深度学习的方法论转变。

实验结果

研究问题

• RQ1 过去数十年间，NLP领域中代码混用的研究重点如何从语言学理论演变为机器学习方法？
• RQ2 哪些语言组合与NLP任务最常被研究？多语言NLP中的新兴趋势是什么？
• RQ3 语言学理论在多大程度上影响了现代代码混用NLP模型的设计？
• RQ4 代码混用NLP中的方法论转变有哪些？从基于规则的系统到预训练Transformer模型的演变过程是怎样的？
• RQ5 代码混用NLP中最为紧迫的开放性挑战是什么？哪些未来研究方向最具前景？

主要发现

• 自2015年以来，代码混用研究显著增长，主要受社交媒体和语音激活设备推动，*CL与ISCA会议的出版物数量显著增加。
• 以英语为基础的代码混用（如英语-印地语、英语-泰米尔语）在文献中占主导地位，40%的双语研究涉及英语作为第二语言。
• 从基于规则和统计模型向神经网络与预训练模型的转变趋势明显，近期60%的论文采用基于Transformer的架构。
• 尽管研究增长迅速，但仅有12%的代码混用数据集包含超过两种语言，四语及以上组合仍属研究空白。
• 语音相关任务（如ASR、TTS）日益受到关注，尤其在南亚与非洲语言对中，但数据稀缺仍是主要瓶颈。
• 仅有20%的论文在模型设计中明确结合语言学理论，表明社会语言学洞见与NLP方法论之间仍存在明显差距。