[论文解读] Tell Me About Yourself: Using an AI-Powered Chatbot to Conduct Conversational Surveys.
本文提出了一种基于人工智能的聊天机器人，用于开展对话式调查，利用自然语言理解技术解析自由文本回复，并动态追问以挖掘更深层次的洞察。在600名参与者的实地研究中，与传统在线调查相比，该聊天机器人显著提升了参与度，并改善了响应质量——通过相关性、深度和可读性指标衡量。
The rise of increasingly more powerful chatbots offers a new way to collect information through conversational surveys, where a chatbot asks open-ended questions, interprets a user's free-text responses, and probes answers when needed. To investigate the effectiveness and limitations of such a chatbot in conducting surveys, we conducted a field study involving about 600 participants. In this study, half of the participants took a typical online survey on Qualtrics and the other half interacted with an AI-powered chatbot to complete a conversational survey. Our detailed analysis of over 5200 free-text responses revealed that the chatbot drove a significantly higher level of participant engagement and elicited significantly better quality responses in terms of relevance, depth, and readability. Based on our results, we discuss design implications for creating AI-powered chatbots to conduct effective surveys and beyond.
研究动机与目标
- 调查基于人工智能的聊天机器人在开展对话式调查方面相较于传统在线调查的有效性。
- 评估使用聊天机器人与标准调查平台时，参与者的参与度和响应质量。
- 识别通过自然语言交互获取高质量、深层次响应的聊天机器人设计启示。
- 理解在现实调查场景中使用NLP驱动聊天机器人时的优势与局限。
提出的方法
- 开展了一项实地研究，约600名参与者参与，其中一半使用标准的Qualtrics在线调查，另一半则与基于人工智能的聊天机器人互动。
- 聊天机器人利用自然语言处理技术解析自由文本回复，并根据内容和上下文动态生成后续问题。
- 对话式调查设计支持开放式回复，并通过自适应追问机制提升回答的深度与相关性。
- 收集两种条件下产生的自由文本回复，并通过定性和定量指标分析参与度、相关性、深度和可读性。
- 聊天机器人设计旨在保持对话流畅性，同时确保达成数据收集目标，模仿人类对话模式。
实验结果
研究问题
- RQ1与传统在线调查相比，参与者在基于人工智能聊天机器人的对话式调查中的参与度有何差异？
- RQ2与标准调查相比，聊天机器人在提升自由文本调查回复的相关性、深度和可读性方面达到何种程度？
- RQ3在使用人工智能聊天机器人进行调查数据收集时，面临的关键设计挑战与机遇是什么？
- RQ4用户如何感知在调查场景中人工智能聊天机器人的对话流畅性与互动性？
主要发现
- 基于人工智能的聊天机器人显著提升了参与者的参与度，相较于传统在线调查。
- 与标准调查条件相比，与聊天机器人互动的参与者提供了更具相关性、内容更深入且更易读的回复。
- 聊天机器人成功解析了自由文本回复，并生成了语境恰当的后续问题，从而提升了数据质量。
- 研究表明，使用人工智能的对话式调查能够获取比静态、线性调查格式更丰富、更细致的回应。
- 尽管具备诸多优势，该聊天机器人在处理模糊或偏离主题的回复时仍存在局限，凸显了改进消歧策略的必要性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。