[论文解读] The Future of AI-Assisted Writing

Carlos Alves Pereira, Tanay Komarlu+1 more|arXiv (Cornell University)|Jun 29, 2023

Artificial Intelligence in Healthcare and Education被引用 5

一句话总结

本研究通过对比使用 GPT-3 和 Google Smart Compose 的推送（主动建议）与拉取（用户请求生成）范式，开展了一项用户对比研究，探究 AI 辅助写作工具的使用。研究发现，用户更偏好无缝、低干扰的集成方式，报告了强烈的创作主导感和使用愉悦感，且在两种模型下均产出同等高质量的写作内容；尽管拉取模式在不熟悉任务上的创意构思阶段效率更高。尽管观察到的偏见极少，用户仍对数据伦理和模型透明度表达了显著担忧。

ABSTRACT

The development of Natural Language Generation models has led to the creation of powerful Artificial Intelligence-assisted writing tools. These tools are capable of predicting users' needs and actively providing suggestions as they write. In this work, we conduct a comparative user-study between such tools from an information retrieval lens: pull and push. Specifically, we investigate the user demand of AI-assisted writing, the impact of the two paradigms on quality, ownership of the writing product, and efficiency and enjoyment of the writing process. We also seek to understand the impact of bias of AI-assisted writing. Our findings show that users welcome seamless assistance of AI in their writing. Furthermore, AI helped users to diversify the ideas in their writing while keeping it clear and concise more quickly. Users also enjoyed the collaboration with AI-assisted writing tools and did not feel a lack of ownership. Finally, although participants did not experience bias in our experiments, they still expressed explicit and clear concerns that should be addressed in future AI-assisted writing tools.

研究动机与目标

• 理解用户对 AI 辅助写作工具的需求及其偏好的交互范式。
• 评估推送与拉取 AI 辅助模式对写作质量、效率、主导感和用户愉悦感的影响。
• 调查基于众包训练数据的 AI 生成文本中偏见的存在与感知情况。
• 为未来 AI 写作工具的设计提供依据，以提升用户体验并加强伦理保障。

提出的方法

• 开展了一项对比用户研究，通过两项写作任务（熟悉与不熟悉）评估用户在推送与拉取范式下的行为表现。
• 通过 Google Smart Compose 模拟推送模式，通过集成 GPT-3 的自定义 Google 插件实现拉取模式。
• 通过任务后调查收集定量与定性数据，评估写作质量、主导感、愉悦感及感知偏见。
• 采用第三方评估方法衡量写作质量，尽管摘要中未明确报告结果。
• 分析用户交互模式，包括建议接受率和工作流复杂度（如点击次数等）。
• 通过明确的调查问题探索用户对偏见的感知，尽管实际观察到的偏见实例有限。

实验结果

研究问题

• RQ1 RQ1：用户在多大程度上希望 AI 参与写作过程？
• RQ2 RQ2：AI 辅助写作范式如何影响用户对作品的主导感与愉悦感？
• RQ3 RQ3：哪种 AI 辅助写作范式能更高效地生成更高质量的写作？
• RQ4 RQ4：在 AI 辅助写作工具中，由于使用众包数据可能引发的偏见，如何影响用户？

主要发现

• 用户强烈欢迎 AI 协助，报告称其写作在创意多样性与简洁性方面得到提升，同时未牺牲清晰度。
• 参与者对最终写作成果表现出强烈的主导感，尤其在推送模式下，因建议更不具侵入性。
• 拉取范式在不熟悉写作任务中实现了更高的每分钟词数，表明其在构思阶段作为知识来源具有显著价值。
• 尽管观察到的偏见极少——仅 1/16 名参与者遇到过偏见输出——但用户仍明确表达了对偏见和数据隐私的担忧。
• 用户在推送模式下报告了更高的愉悦感，可能源于与成熟 GSC 界面的更流畅、低摩擦交互体验，相较之下自定义插件界面显得不够流畅。
• 用户体验是最重要的影响因素：无缝集成到文档编辑器显著提升了用户感知的实用性与满意度。