[论文解读] Multilingual Tourist Assistance using ChatGPT: Comparing Capabilities in Hindi, Telugu, and Kannada

Sanjana Kolar, Rohit Kumar|arXiv (Cornell University)|Jul 28, 2023

Artificial Intelligence in Healthcare and Education被引用 8

一句话总结

该论文使用基于 BLEU 的 50 道题目及人工评估的研究，评估 ChatGPT 将英语翻译为印地语、卡纳达语、泰卢固语的能力，总体上印地语表现最佳。

ABSTRACT

This research investigates the effectiveness of ChatGPT, an AI language model by OpenAI, in translating English into Hindi, Telugu, and Kannada languages, aimed at assisting tourists in India's linguistically diverse environment. To measure the translation quality, a test set of 50 questions from diverse fields such as general knowledge, food, and travel was used. These were assessed by five volunteers for accuracy and fluency, and the scores were subsequently converted into a BLEU score. The BLEU score evaluates the closeness of a machine-generated translation to a human translation, with a higher score indicating better translation quality. The Hindi translations outperformed others, showcasing superior accuracy and fluency, whereas Telugu translations lagged behind. Human evaluators rated both the accuracy and fluency of translations, offering a comprehensive perspective on the language model's performance.

研究动机与目标

• 评估 ChatGPT 将英语翻译为印度三种语言（印地语、卡纳达语、泰卢固语）用于印度游客信息的能力。
• 用主观（准确性与流畅度评分）与客观（BLEU分数）两类指标量化翻译质量。
• 识别语言特定的优点与不足，为旅游领域翻译的改进提供指导。

提出的方法

• 使用 gpt-3.5-turbo 将英语文本通过两部分提示（systemRole + userRole）翻译为目标印地语言/卡纳达语/泰卢固语。
• 由 5 名母语志愿者对翻译在准确性与流畅度（1-5 分）进行评估。
• 通过将机器翻译与人工参考翻译进行比较，对 50 道题目计算 BLEU 分数（0-100）。
• 将初始的 60 道题分为 General、Food、Travel 三个主题，并筛选出 50 个相关项目。

实验结果

研究问题

• RQ1 ChatGPT 能否将英语旅游查询准确翻译为印地语、卡纳达语和泰卢固语，以服务德国/国际游客？
• RQ2 三种语言的主观（准确性/流畅度）和客观（BLEU）评估有何差异？
• RQ3 为提升旅游领域翻译提出了哪些语言特定的改进建议？

主要发现

• 印地语翻译在准确性与流畅度方面总体表现最高（例如 General：准确性 4.8，流畅度 4.6）。
• 泰卢固语翻译表现最低（BLEU：13.12；General 准确性：2.6；流畅度：2.1）。
• 卡纳达语翻译处于中等水平（BLEU：46.78；General 准确性：3.7；流畅度：3.5）。
• 总体来看，印地语在 General/主题翻译的准确性与流畅度方面比分别高于卡纳达语和泰卢固语。