[论文解读] Towards Explainable AI Writing Assistants for Non-native English Speakers

Yewon Kim, Mina Lee+2 more|arXiv (Cornell University)|Apr 5, 2023

Topic Modeling被引用 5

一句话总结

本文提出可解释的AI写作助手界面，帮助非英语母语者（NNES）评估并从AI生成的改写中学习。通过对15名NNES用户的访谈，研究发现AI建议缺乏解释会导致困惑与不信任；作者设计了四种界面原型，整合上下文、语言学及教学解释，以提升NNES用户对内容的理解、选择准确度以及语言学习效果。

ABSTRACT

We highlight the challenges faced by non-native speakers when using AI writing assistants to paraphrase text. Through an interview study with 15 non-native English speakers (NNESs) with varying levels of English proficiency, we observe that they face difficulties in assessing paraphrased texts generated by AI writing assistants, largely due to the lack of explanations accompanying the suggested paraphrases. Furthermore, we examine their strategies to assess AI-generated texts in the absence of such explanations. Drawing on the needs of NNESs identified in our interview, we propose four potential user interfaces to enhance the writing experience of NNESs using AI writing assistants. The proposed designs focus on incorporating explanations to better support NNESs in understanding and evaluating the AI-generated paraphrasing suggestions.

研究动机与目标

• 调查NNES在使用AI写作助手进行改写时面临的挑战，特别是建议改写缺乏解释的问题。
• 理解NNES用户在缺乏解释信息的情况下如何评估和选择AI生成的改写。
• 识别支持NNES用户评估和从改写建议中学习的AI写作助手设计需求。
• 提出并原型化用户界面设计，整合解释信息以增强NNES用户的信任感、理解力及语言学习效果。

提出的方法

• 对15名不同熟练程度的非英语母语者进行了半结构化的思考 aloud 访谈。
• 收集了AI工具使用模式、改写选择中的挑战以及评估建议质量策略的数据。
• 对访谈记录和屏幕录制内容进行开放式编码与主题分析，识别出反复出现的挑战与需求。
• 设计了四个原型用户界面，整合不同类型解释（如语言学依据、基于上下文的推理、对比性示例）。
• 结合语言习得与可解释AI文献中的见解，评估解释深度、用户效率与学习成果之间的设计权衡。
• 探索基于对话的交互模式，以支持NNES用户优化提示并提升AI输出的相关性。

实验结果

研究问题

• RQ1 当缺乏解释时，非英语母语者如何评估和选择AI生成的改写建议？
• RQ2 NNES用户在评估AI生成改写的适当性与质量时面临哪些主要挑战？
• RQ3 NNES用户认为哪些类型的解释最有助于理解并选择更优的改写选项？
• RQ4 如何重新设计AI写作助手，以在保持可用性与效率的同时支持语言学习？
• RQ5 在面向NNES用户的AI写作工具中，解释深度、用户效率与学习有效性之间存在哪些设计权衡？

主要发现

• 15名NNES参与者中有12人因缺乏解释而难以评估AI生成改写的质量，尤其是在区分语气、语体或搭配上的细微差异时。
• 参与者经常因母语干扰而误用'ratio'和'proportion'等词汇，且发现AI工具未纠正或解释此类错误，导致错误持续存在。
• 许多参与者表示AI生成的改写常显得不自然或不符合习惯表达，尤其在从韩语等语言翻译时，会模仿母语的词序或结构。
• NNES用户对AI建议的信任度较低，尤其在多个选项并列且无理由说明时，导致犹豫不决、过度依赖或拒绝有效建议。
• 熟练程度较高的用户在选择建议时认知负荷较低，表明解释对低熟练程度用户可能更为关键。
• 参与者更偏好能阐明修改语言学原因的解释——如语气调整、正式程度或搭配变化——而非通用或技术性描述。