[论文解读] TalkToModel: Explaining Machine Learning Models with Interactive Natural Language Conversations

Dylan Slack, Satyapriya Krishna+2 more|arXiv (Cornell University)|Jul 8, 2022

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

TalkToModel 引入了一种交互式自然语言对话系统，使用户能够通过对话查询来解释机器学习模型，利用大语言模型将自然语言解析为可执行操作，并生成准确、上下文感知的解释。在评估中，73% 的医疗工作者更倾向于使用该系统而非现有工具，85% 的机器学习专业人员认为其比现有工具更易用，证明了其在直观、灵活的模型解释方面的有效性。

ABSTRACT

Machine Learning (ML) models are increasingly used to make critical decisions in real-world applications, yet they have become more complex, making them harder to understand. To this end, researchers have proposed several techniques to explain model predictions. However, practitioners struggle to use these explainability techniques because they often do not know which one to choose and how to interpret the results of the explanations. In this work, we address these challenges by introducing TalkToModel: an interactive dialogue system for explaining machine learning models through conversations. Specifically, TalkToModel comprises of three key components: 1) a natural language interface for engaging in conversations, making ML model explainability highly accessible, 2) a dialogue engine that adapts to any tabular model and dataset, interprets natural language, maps it to appropriate explanations, and generates text responses, and 3) an execution component that constructs the explanations. We carried out extensive quantitative and human subject evaluations of TalkToModel. Overall, we found the conversational system understands user inputs on novel datasets and models with high accuracy, demonstrating the system's capacity to generalize to new situations. In real-world evaluations with humans, 73% of healthcare workers (e.g., doctors and nurses) agreed they would use TalkToModel over baseline point-and-click systems for explainability in a disease prediction task, and 85% of ML professionals agreed TalkToModel was easier to use for computing explanations. Our findings demonstrate that TalkToModel is more effective for model explainability than existing systems, introducing a new category of explainability tools for practitioners. Code & demo released here: https://github.com/dylan-slack/TalkToModel.

研究动机与目标

• 为解决复杂、不透明的机器学习模型难以被从业者理解的挑战。
• 克服现有可解释性工具的局限性，这些工具需要技术专长，且缺乏对动态、后续问题的支持。
• 设计一种交互式、基于自然语言的系统，实现对模型预测和行为的直观、对话式探索。
• 通过支持关于模型特征、预测结果和反事实的灵活、上下文感知对话，满足不同领域用户的多样化需求。
• 在医疗和机器学习专业人士的真实场景中，评估系统的可用性和有效性。

提出的方法

• 对话引擎使用大语言模型将用户的自然语言语句解析为类似 SQL 的可执行语言，用于模型操作。
• 执行引擎处理这些已解析的命令，计算诸如特征重要性、反事实和预测变化等解释。
• 该系统支持多轮对话，保持上下文，以准确回答后续问题。
• 它支持多种分析类型，包括特征重要性、反事实生成、预测变化以及模型定义查询。
• 界面包含固定消息和“帮助生成”按钮等功能，帮助用户构思问题。
• 该系统设计用于支持任意表格数据集和分类器，从而在不同模型类别和数据类型中具备广泛适用性。

实验结果

研究问题

• RQ1 自然语言对话系统能否有效支持关于机器学习模型预测的开放性、上下文感知对话？
• RQ2 与传统的点按式仪表板相比，对话式界面在可用性方面表现如何？
• RQ3 不同专业水平的用户（如医疗工作者与机器学习专业人员）能否有效使用该系统来理解模型行为？
• RQ4 该系统在处理关于模型行为的复杂后续问题（如反事实推理或特征影响）方面的能力如何？
• RQ5 该系统在不同模型类型和数据领域中的泛化能力如何？

主要发现

• 73% 的医疗工作者表示，他们更倾向于使用 TalkToModel 而非现有系统来理解疾病预测模型。
• 85% 的机器学习专业人员认为，TalkToModel 比当前工具更易于使用。
• 该系统成功解析了多样化的自然语言查询，包括复杂的后续问题，并生成了准确、上下文感知的响应。
• 用户能够通过简单的对话交互完成高级分析，如反事实推理和特征影响评估。
• 该系统在不同模型类别和数据类型中表现出强大的泛化能力，支持广泛的解释任务。
• 通过使用大语言模型进行意图解析，实现了对用户查询的准确且灵活的解释，且无需技术专长。