[论文解读] Tell Me About Yourself: Using an AI-Powered Chatbot to Conduct Conversational Surveys with Open-ended Questions

Ziang Xiao, Michelle X. Zhou+5 more|Cambridge University Engineering Department Publications Database|May 25, 2019

AI in Service Interactions参考文献 64被引用 28

一句话总结

本文提出了一种基于人工智能的聊天机器人，用于通过开放式问题开展对话式调查，利用自然语言理解技术解析回应，并动态追问以获取更深层次的洞察。在约600名参与者的实际研究中，该聊天机器人通过提升信息量、相关性、具体性和清晰度，显著改善了响应质量（以格里赛准则衡量），同时相比传统表单式调查，提高了参与度和信息披露程度。

ABSTRACT

The rise of increasingly more powerful chatbots offers a new way to collect information through conversational surveys, where a chatbot asks open-ended questions, interprets a user's free-text responses, and probes answers whenever needed. To investigate the effectiveness and limitations of such a chatbot in conducting surveys, we conducted a field study involving about 600 participants. In this study with mostly open-ended questions, half of the participants took a typical online survey on Qualtrics and the other half interacted with an AI-powered chatbot to complete a conversational survey. Our detailed analysis of over 5200 free-text responses revealed that the chatbot drove a significantly higher level of participant engagement and elicited significantly better quality responses measured by Gricean Maxims in terms of their informativeness, relevance, specificity, and clarity. Based on our results, we discuss design implications for creating AI-powered chatbots to conduct effective surveys and beyond.

研究动机与目标

• 探究基于人工智能的聊天机器人是否能够提升开放式问题调查中的参与度与响应质量。
• 比较对话式聊天机器人调查与标准表单式在线调查在获取高质量自由文本回应方面的有效性。
• 考察聊天机器人界面中互动式、动态追问机制如何减轻问卷填写疲劳并提升参与者的信息披露意愿。
• 识别支持高质量、自然且有意义调查互动的AI聊天机器人设计原则。
• 探索聊天机器人在半结构化访谈及关系型代理应用中的潜力，超越传统调查场景。

提出的方法

• 本研究在Juji平台上部署了一款定制的基于人工智能的聊天机器人，用于开展开放式问题的对话式调查。
• 聊天机器人利用自然语言理解技术解析自由文本回应，并应用主动倾听技术，包括澄清、追问和后续问题。
• 参与者被随机分配至聊天机器人调查组（n≈300）或表单式Qualtrics调查组（n≈300）。
• 聊天机器人根据用户输入动态调整提问策略，应用苏格拉底式提问原则以深化回应。
• 自由文本回应通过格里赛准则（信息量、相关性、具体性、清晰度）进行分析，以评估质量。
• 参与度通过持续时间、回应长度及自我报告体验进行测量。

实验结果

研究问题

• RQ1 基于聊天机器人的对话式调查是否能获得比传统表单式调查更高质量的自由文本回应？
• RQ2 聊天机器人解析并回应开放式回应的能力如何影响参与者的参与度与信息披露？
• RQ3 动态追问与对话式互动在多大程度上减轻了问卷填写疲劳？
• RQ4 AI聊天机器人哪些设计特征最显著地提升了调查情境下的回应质量与用户体验？
• RQ5 聊天机器人能否有效替代或增强结构化或半结构化访谈在定性数据收集中的应用？

主要发现

• 使用聊天机器人的参与者所提供的自由文本回应，在格里赛准则衡量下，显著优于表单式调查的回应，表现为更高的信息量、相关性、具体性和清晰度。
• 聊天机器人组的参与者平均花费20分钟完成调查，回应更长，且更愿意披露个人信息。
• 67.4%的聊天机器人参与者报告了积极体验，并表示愿意未来以聊天形式参与调查。
• 聊天机器人通过动态适应用户输入并维持对话流畅性，显著降低了响应疲劳，提升了参与度。
• 聊天机器人组的参与者更可能提供详细、富含背景信息的回答，更少出现跳过问题或仅作简短回应的情况。
• 本研究证明，AI聊天机器人可有效替代静态调查用于开放式问题，尤其在需要高质量定性洞察时。