[论文解读] User Intent Recognition and Satisfaction with Large Language Models: A User Study with ChatGPT

Anna Bodonhelyi, Efe Bozkir+3 more|arXiv (Cornell University)|Feb 3, 2024

Topic Modeling被引用 4

一句话总结

本用户研究通过应用细粒度意图分类法和基于意图的提示重写策略，评估了 GPT-3.5 Turbo 和 GPT-4 Turbo 在意图识别与用户满意度方面的能力。结果显示，GPT-4 在常见意图上优于 GPT-3.5，但在罕见意图上表现较差；尽管意图识别准确率提高，用户仍更偏好原始提示而非重写后的提示，表明模型准确率与用户满意度之间存在脱节。

ABSTRACT

The rapid evolution of LLMs represents an impactful paradigm shift in digital interaction and content engagement. While they encode vast amounts of human-generated knowledge and excel in processing diverse data types, they often face the challenge of accurately responding to specific user intents, leading to user dissatisfaction. Based on a fine-grained intent taxonomy and intent-based prompt reformulations, we analyze the quality of intent recognition and user satisfaction with answers from intent-based prompt reformulations of GPT-3.5 Turbo and GPT-4 Turbo models. Our study highlights the importance of human-AI interaction and underscores the need for interdisciplinary approaches to improve conversational AI systems. We show that GPT-4 outperforms GPT-3.5 in recognizing common intents but is often outperformed by GPT-3.5 in recognizing less frequent intents. Moreover, whenever the user intent is correctly recognized, while users are more satisfied with the intent-based reformulations of GPT-4 compared to GPT-3.5, they tend to be more satisfied with the models' answers to their original prompts compared to the reformulated ones. The collected data from our study has been made publicly available on GitHub (https://github.com/ConcealedIDentity/UserIntentStudy) for further research.

研究动机与目标

• 探究 GPT-3.5 Turbo 和 GPT-4 Turbo 在真实提示中识别多样化用户意图的能力。
• 评估基于意图的提示重写对用户对大语言模型生成回复满意度的影响。
• 识别模型在常见与罕见意图类别之间表现差异的原因。
• 探索用户在原始提示与重写提示之间的偏好，尤其关注对回复质量的感知。
• 通过识别意图理解与用户交互设计中的差距，为未来大语言模型开发提供参考。

提出的方法

• 基于信息检索与近期自然语言处理研究，构建了细粒度的意图分类体系，将用户意图划分为事实性查询、解释性询问和内容创作等不同类型。
• 收集真实用户提示，并利用基于分类体系的模板对提示进行基于意图的重写，以提升清晰度与具体性。
• 开展受控用户研究，参与者在多种意图类别下与 GPT-3.5 和 GPT-4 交互原始提示与重写提示。
• 通过模型响应与预设意图标签的一致性衡量意图识别准确率，并通过交互后调查评估用户满意度。
• 在事实性查询的重写提示中加入事实核查参考文献，以增强可信度并支持用户验证。
• 通过原始提示与重写提示响应的对比评分，分析用户偏好与满意度水平。

Figure 1: Overview of the proposed prompt reformulation framework, visual summary of Algorithm 1 .

实验结果

研究问题

• RQ1 GPT-3.5 Turbo 与 GPT-4 Turbo 在识别常见与罕见用户意图方面表现如何？
• RQ2 基于意图的提示重写在多大程度上提升了用户对大语言模型回复的满意度？
• RQ3 GPT-4 在意图识别方面表现更优，是否导致其用户满意度高于 GPT-3.5？
• RQ4 为何用户即使在意图识别准确率提高的情况下，仍更偏好原始提示的回复？
• RQ5 重写提示中加入参考文献如何影响用户信任度与满意度？

主要发现

• GPT-4 Turbo 在常见意图类别（如事实性查询、解释性询问和内容创作）中表现出显著高于 GPT-3.5 Turbo 的意图识别准确率。
• 在罕见意图类别（如‘课程规划’和‘学习支持’）中，GPT-3.5 Turbo 表现优于 GPT-4 Turbo，表明模型在处理低频意图时存在局限性。
• 尽管意图识别准确率更高，用户在两种模型上均一致偏好原始提示的回复，而非基于意图重写的提示。
• 用户对 GPT-4 原始提示回复的满意度高于对 GPT-3.5 回复的满意度，即使 GPT-3.5 在重写提示上获得了更高的满意度评分。
• 即使重写提示中包含参考文献，用户对原始提示的偏好依然存在，表明用户更重视语言流畅性与自然性，而非结构化清晰度。
• 当用户提供重写模板时，用户在提示构建方面展现出快速学习能力，表明在有效提示技巧方面具备用户教育潜力。

(a) Confusion matrix for GPT-3.5.