[论文解读] Putting Humans in the Natural Language Processing Loop: A Survey

Zijie J. Wang, Dongjin Choi+2 more|arXiv (Cornell University)|Mar 6, 2021

Topic Modeling参考文献 27被引用 15

一句话总结

本综述对人机协同（HITL）自然语言处理（NLP）系统进行了全面分析，综合了NLP与人机交互（HCI）领域的研究成果。它根据任务、目标、人机交互设计及反馈学习方法对HITL框架进行了分类，强调了通过持续的人类反馈在提升模型性能、可解释性与可用性方面的作用，同时指出了当前研究中的关键空白与未来人本NLP发展的方向。

ABSTRACT

How can we design Natural Language Processing (NLP) systems that learn from human feedback? There is a growing research body of Human-in-the-loop (HITL) NLP frameworks that continuously integrate human feedback to improve the model itself. HITL NLP research is nascent but multifarious -- solving various NLP problems, collecting diverse feedback from different people, and applying different methods to learn from collected feedback. We present a survey of HITL NLP work from both Machine Learning (ML) and Human-Computer Interaction (HCI) communities that highlights its short yet inspiring history, and thoroughly summarize recent frameworks focusing on their tasks, goals, human interactions, and feedback learning methods. Finally, we discuss future directions for integrating human feedback in the NLP development loop.

研究动机与目标

• 提供一份涵盖NLP与HCI领域研究的综合性、跨学科HITL NLP研究综述。
• 基于核心维度（任务、目标、人机交互、反馈学习方法）对现有HITL NLP框架进行系统化整理。
• 识别在反馈收集、界面设计及人机协同评估方面存在的关键研究空白与开放性问题。
• 倡导NLP与HCI研究人员之间更深层次的合作，以构建更具可解释性、可用性与可信度的NLP系统。
• 推动在HITL NLP研究中开发开放工具、共享数据集及严谨的用户研究。

提出的方法

• 对来自NLP与HCI领域的25项以上代表性HITL NLP研究进行系统性文献综述。
• 基于四个维度对框架进行分类：(1) NLP任务（如文本分类、摘要生成），(2) 系统目标（如性能、可解释性），(3) 人机交互方式（如图形界面、自然语言），(4) 反馈学习方法（如在线更新、反事实示例）。
• 分析反馈类型，包括二元反馈、量表反馈、自然语言反馈及反事实示例，以评估其对模型学习的影响。
• 评估界面设计策略，如模型可解释性提示、问题表述方式与反馈引导机制，以提升反馈质量。
• 采用元分析方法识别反馈一致性、噪声与用户专业水平等常见设计模式与挑战。
• 结合案例研究与实例（如通过自然语言输入修改模型参数、“如果-则”特征操作）说明实际的人机协同交互场景。

实验结果

研究问题

• RQ1 不同HITL NLP框架在任务、目标、人机交互模式与反馈学习机制方面有何差异？
• RQ2 在NLP系统中，收集高质量、一致且有用的反馈面临哪些关键挑战？
• RQ3 如何设计HITL系统，以不仅提升模型准确率，还能增强可解释性与可用性？
• RQ4 HCI原则在设计高效、直观且可信的人机协同NLP界面方面可发挥何种作用？
• RQ5 未来哪些研究方向最有助于推进人类反馈在NLP开发流程中的整合？

主要发现

• 通过在训练与部署阶段持续整合人类反馈，HITL NLP框架显著提升了模型性能、可解释性与可用性。
• 反馈质量高度依赖于界面设计——模型可解释性提示与问题表述方式可显著提升人类输入的实用性。
• 允许用户通过自然语言修改模型参数（如“请为我使用they/them”）的系统，能显著增强用户参与度与模型透明度。
• 亟需开展超越模型指标的严谨用户研究，以评估HITL系统的效果与用户信任度。
• 开源工具、共享用户研究协议并创建公开的反馈数据集，对实现研究可复现性与推动领域发展至关重要。
• 最有效的HITL系统能够动态选择最具信息量的反馈进行收集，并引导用户提交高质量输入。