[论文解读] Using ChatGPT as a CAT tool in Easy Language translation

Silvana Deilen, Sergio Hernández Garrido+2 more|arXiv (Cornell University)|Aug 22, 2023

Text Readability and Simplification被引用 7

一句话总结

本研究评估了使用ChatGPT作为计算机辅助翻译（CAT）工具，将公共行政文本翻译为德语简易语言版本的可行性。通过语言层面和整体性提示策略，作者发现尽管生成的文本比源文本更简单，但常常未能符合既定的简易语言标准，原因在于内容不完整或错误，表明ChatGPT需要专家后期编辑，最适合用作起草辅助工具，而非独立解决方案。

ABSTRACT

This study sets out to investigate the feasibility of using ChatGPT to translate citizen-oriented administrative texts into German Easy Language, a simplified, controlled language variety that is adapted to the needs of people with reading impairments. We use ChatGPT to translate selected texts from websites of German public authorities using two strategies, i.e. linguistic and holistic. We analyse the quality of the generated texts based on different criteria, such as correctness, readability, and syntactic complexity. The results indicated that the generated texts are easier than the standard texts, but that they still do not fully meet the established Easy Language standards. Additionally, the content is not always rendered correctly.

研究动机与目标

• 评估类似ChatGPT的大语言模型是否能有效将标准德语文本翻译为德语简易语言。
• 比较两种提示策略——语言层面提示与整体性提示——在输出质量上的有效性。
• 评估ChatGPT生成的文本在正确性、可读性和句法简单性方面是否符合既定的简易语言标准。
• 确定ChatGPT在专业简易语言翻译工作流程中作为可行工具的适用程度。

提出的方法

• 本研究采用两种提示策略：语言层面提示（聚焦于词汇选择、句子结构和简化规则）与整体性提示（提供上下文和角色分配，例如“扮演简易语言翻译员”）。
• 源文本选自德国公共行政网站，代表面向公众的官方沟通内容。
• 使用定性和定量标准对生成的文本进行评估，包括正确性、可读性和句法复杂性。
• 评估依据既定的德语简易语言标准，重点关注词汇简化、句子长度和内容准确性。
• 作者采用混合方法，结合人工评估与基于标准的文本特征评估。
• 测试了角色分配和情境框架作为提升输出质量的技术手段。

实验结果

研究问题

• RQ1 ChatGPT在多大程度上能生成符合既定质量标准的德语简易语言翻译？
• RQ2 整体性提示策略是否比语言层面提示策略产生更具可理解性和准确性的简易语言文本？
• RQ3 ChatGPT生成的文本在可读性和句法复杂性方面与原始源文本相比如何？
• RQ4 内容错误或遗漏在哪些方面影响了生成的简易语言文本的功能可用性？

主要发现

• ChatGPT生成的文本比原始标准德语文本更易读，但仍未能完全符合正式的简易语言标准。
• 内容准确性不一致：尽管大多数信息正确传递，但关键细节有时缺失或错误表达，导致意义改变。
• 整体性提示策略——尤其是结合角色分配（如“扮演简易语言翻译员”）时——产生的输出更合适且句法更简单，优于标准提示。
• 尽管提示优化有所改进，但生成的文本仍简化不足且存在错误，表明单独使用ChatGPT不适合专业简易语言翻译。
• 本研究结论认为，ChatGPT最适合用作需要专家后期编辑的起草辅助工具，而非独立的简易语言CAT工具。
• 在使用大语言模型进行语内翻译时，专业后期编辑技能——如错误检测、内容验证和读者适应——至关重要。