[论文解读] Perspectives for Evaluating Conversational AI

Mahipal Jadeja, Neelanshi Varia|arXiv (Cornell University)|Sep 14, 2017

AI in Service Interactions参考文献 4被引用 4

一句话总结

本文提出一个四重视角框架——用户体验、信息检索、语言学和人工智能——用于评估以搜索为导向的对话式人工智能系统。该框架强调个性化、自适应交互，并指出通用度量指标是关键挑战，主张通过迭代设计和上下文感知个性化来提升系统在基本任务完成之外的成功表现。

ABSTRACT

Conversational AI systems are becoming famous in day to day lives. In this paper, we are trying to address the following key question: To identify whether design, as well as development efforts for search oriented conversational AI are successful or not.It is tricky to define 'success' in the case of conversational AI and equally tricky part is to use appropriate metrics for the evaluation of conversational AI. We propose four different perspectives namely user experience, information retrieval, linguistic and artificial intelligence for the evaluation of conversational AI systems. Additionally, background details of conversational AI systems are provided including desirable characteristics of personal assistants, differences between chatbot and an AI based personal assistant. An importance of personalization and how it can be achieved is explained in detail. Current challenges in the development of an ideal conversational AI (personal assistant) are also highlighted along with guidelines for achieving personalized experience for users.

研究动机与目标

• 为解决对话式AI系统在非商业场景下缺乏标准化评估方法的问题。
• 识别超越传统KPI的以搜索为导向的对话式AI系统成功标准。
• 探讨个性化如何提升虚拟个人助手（VPAs）的用户体验与系统效能。
• 提出一个多维评估框架，以涵盖对话式AI中定性、依赖用户特征的评估维度。
• 指导未来AI助手的发展，使其能够从用户行为中学习并随时间自适应演化。

提出的方法

• 提出四个评估视角：用户体验、信息检索、语言学和人工智能，分别针对对话式AI性能的不同方面。
• 整合用户反馈回路与迭代设计，根据使用模式和偏好优化系统行为。
• 通过存储用户习惯、指令频率和历史交互记录，强调上下文感知的个性化。
• 利用自然语言处理（NLP）、机器学习和人工神经网络，实现自适应、类人响应。
• 应用后处理技术，基于过往行为和时间上下文预测用户意图并建议操作。
• 通过示例展示类人对话能力，包括上下文记忆、情感语气和主动任务协助。

实验结果

研究问题

• RQ1 如何在非商业应用中，超越标准商业KPI来评估对话式AI系统？
• RQ2 定义以搜索为导向的对话式AI系统成功的关键维度有哪些？
• RQ3 如何系统性地实现对话式AI中的个性化，以提升用户体验和长期参与度？
• RQ4 上下文历史记录与用户行为建模在实现智能、预测性助手交互中发挥什么作用？
• RQ5 如何在不同对话式AI系统之间一致地衡量定性、依赖用户特征的指标？

主要发现

• 所提出的四重视角评估框架——用户体验、信息检索、语言学和人工智能——为评估对话式AI系统提供了全面的结构。
• 个性化通过基于历史行为和偏好的上下文感知、预测性与自适应交互，显著提升了用户体验。
• 能够从用户习惯中学习并存储常用指令的对话式AI系统，可随时间提升响应相关性并减少用户操作负担。
• 通过保留上下文、体现情感语气和主动提供建议，可实现类人对话，如航班预订示例所示。
• 最大的挑战在于在高度个性化与通用、标准化的定性评估指标之间取得平衡。
• 用户数据的后处理对实现虚拟个人助手的智能、前瞻行为至关重要，尤其在长期参与方面。