[论文解读] Personalized Chatbot Trustworthiness Ratings

Biplav Srivastava, Francesca Rossi+2 more|arXiv (Cornell University)|May 13, 2020

AI in Service Interactions参考文献 27被引用 6

一句话总结

本文提出了一种个性化的聊天机器人可信度评分系统，通过用户指定的优先级顺序，对聊天机器人在偏见、攻击性语言、信息泄露和对话复杂性等多重伦理问题上的表现进行评估。该方法采用模块化、独立的评分组件分别处理各项问题，并通过可定制的聚合函数进行整合，从而在无需访问聊天机器人训练数据或架构的情况下，实现个性化的可信度评估。

ABSTRACT

Conversation agents, commonly referred to as chatbots, are increasingly deployed in many domains to allow people to have a natural interaction while trying to solve a specific problem. Given their widespread use, it is important to provide their users with methods and tools to increase users awareness of various properties of the chatbots, including non-functional properties that users may consider important in order to trust a specific chatbot. For example, users may want to use chatbots that are not biased, that do not use abusive language, that do not leak information to other users, and that respond in a style which is appropriate for the user's cognitive level. In this paper, we address the setting where a chatbot cannot be modified, its training data cannot be accessed, and yet a neutral party wants to assess and communicate its trustworthiness to a user, tailored to the user's priorities over the various trust issues. Such a rating can help users choose among alternative chatbots, developers test their systems, business leaders price their offering, and regulators set policies. We envision a personalized rating methodology for chatbots that relies on separate rating modules for each issue, and users' detected priority orderings among the relevant trust issues, to generate an aggregate personalized rating for the trustworthiness of a chatbot. The method is independent of the specific trust issues and is parametric to the aggregation procedure, thereby allowing for seamless generalization. We illustrate its general use, integrate it with a live chatbot, and evaluate it on four dialog datasets and representative user profiles, validated with user surveys.

研究动机与目标

• 为解决在评估聊天机器人可信度时，如何反映个体用户对偏见、滥用、隐私和沟通复杂性等伦理问题的优先关注。
• 开发一种无需访问聊天机器人训练数据或内部架构的方法，以实现对黑箱系统的评估。
• 构建一个模块化、可扩展的框架，基于用户对多个可信度问题的偏好，聚合可信度评分。
• 通过与实际聊天机器人集成及用户调查验证该方法，证明其在多种对话数据集和用户群体中的实际适用性。

提出的方法

• 该方法为每项可信度问题（如攻击性语言、偏见、信息泄露、对话复杂性）分别使用独立的领域特定评分模块，每个模块独立处理聊天机器人的回复。
• 每个评分模块根据预定义标准（如是否存在冒犯性语言或语义连贯性）为话语分配 0 到 1 之间的分数。
• 用户偏好通过将可信度问题按重要性排序来建模，并用于在聚合过程中加权各项问题的得分。
• 聚合函数将加权后的得分整合为最终的个性化可信度评分，该方法设计为参数化且可扩展，适用于任意数量的可信度问题。
• 系统实现为一个命令行工具，可与聊天机器人的 REST API 集成，实现实时评分，支持实时交互中的评估。
• 该框架支持逐句和会话级别的评分，并可选地集成特定问题的数据生成器（如标注的攻击性语言数据），以提升一致性。

实验结果

研究问题

• RQ1 如何设计一个可信度评分系统，使其能反映个体用户对伦理问题（如攻击性语言、信息泄露）的优先关注，同时无需访问聊天机器人的训练数据或架构？
• RQ2 在多方面伦理问题上，模块化、独立的评分组件在多大程度上可以整合为统一的、用户定制的可信度评分？
• RQ3 该方法在识别现实世界聊天机器人交互中各类用户群体和对话领域内的可信度问题方面，效果如何？
• RQ4 该评分系统是否能够通过实际部署于真实聊天机器人并结合用户反馈得到验证，从而证明其可行性和实用性？

主要发现

• 个性化评分框架成功为不同用户群体生成了反映其在攻击性语言和信息泄露等可信度问题上独特优先级的差异化可信度评分。
• 该方法通过与使用开放政府数据的印度铁路聊天机器人集成，成功实现了实际可行性，支持通过 REST 接口实现实时可信度评估。
• 用户调查结果验证了所选可信度问题的相关性，并确认用户重视根据其伦理关切量身定制的可信度评分。
• 该方法揭示了在不同数据集上聊天机器人行为的显著差异，例如在某些对话情境中攻击性语言得分更高，凸显了系统对伦理风险的敏感性。
• 模块化设计可无缝扩展至其他可信度问题（如可解释性或准确性），证明了其在初始四项问题之外的可扩展性和适应性。
• 该系统在多个对话数据集上均产生了稳定且可解释的评分，证实了其在检测聊天机器人交互中伦理风险方面的可靠性。