[论文解读] Visual Interaction with Deep Learning Models through Collaborative Semantic Inference

Sebastian Gehrmann, Hendrik Strobelt+3 more|arXiv (Cornell University)|Jul 24, 2019

Data Visualization and Analytics被引用 4

一句话总结

本文提出协作语义推理（CSI），一种通过模型扩展的潜在变量（钩子）暴露模型内部推理过程的框架，使用户能够通过直观的视觉隐喻与深度学习模型进行交互。在文档摘要系统中的演示表明，CSI使用户能够控制、理解并共同设计模型决策，显著提升了透明度与人机协作水平。

ABSTRACT

Automation of tasks can have critical consequences when humans lose agency over decision processes. Deep learning models are particularly susceptible since current black-box approaches lack explainable reasoning. We argue that both the visual interface and model structure of deep learning systems need to take into account interaction design. We propose a framework of collaborative semantic inference (CSI) for the co-design of interactions and models to enable visual collaboration between humans and algorithms. The approach exposes the intermediate reasoning process of models which allows semantic interactions with the visual metaphors of a problem, which means that a user can both understand and control parts of the model reasoning process. We demonstrate the feasibility of CSI with a co-designed case study of a document summarization system.

研究动机与目标

• 通过在模型推理过程中实现对模型推理的可视化交互控制，解决黑箱深度学习模型中人类缺乏自主性的问题。
• 共同设计可视化与模型架构，以人类心智模型一致的方式暴露中间推理步骤。
• 开发一种框架，使用户可通过直观的视觉交互（如选择或取消选择内容）影响模型决策。
• 在真实世界自然语言处理任务——文档摘要中，证明CSI的可行性，该任务通常需要人工后期编辑。
• 建立一种系统化的共同设计流程，用于构建集成可视化、交互设计与机器学习的交互式可解释人工智能系统。

提出的方法

• 引入离散潜在变量（钩子）作为模型中的‘控制点’，以表示中间推理决策，例如摘要中的内容重要性。
• 采用钩子网络预测标签概率 $ p(t|x) $，确定模型可复制到摘要中的输入词，从而通过先验实现用户干预。
• 使用独立的反向推理模型计算 $ p(t_i|x,y) $，估计每个输入词被用于摘要的可能性，支持事后分析。
• 基于输入词与摘要词之间的对齐关系，利用上下文嵌入表示和注意力机制计算每个输入词的上下文向量 $ c_i $。
• 通过可微分头部建模词使用概率：$ p(t_i|x,y) = \sigma(W_2 \tanh(W_1[x_i, c_i] + b_1) + b_2) $，该头部与前向模型独立训练。
• 设计可视化界面，用户可直观地取消选择句子，从而将这些句子中所有词的 $ p(t) = 0 $，防止模型复制其内容。

实验结果

研究问题

• RQ1 如何扩展深度学习模型，以一种与人类认知过程一致的方式暴露中间推理步骤？
• RQ2 何种视觉交互范式能够使用户在推理过程中有意义地影响并理解模型决策？
• RQ3 如何将用户反馈在语义层面映射到模型内部，以支持协作式决策？
• RQ4 为摘要任务设计的协同界面是否能通过暴露模型推理过程，提升透明度并减少后期编辑工作量？
• RQ5 在构建支持前向与反向推理的交互式模型解释系统时，面临哪些技术与设计挑战？

主要发现

• CSI框架成功使用户通过取消选择输入句子，实现对文档摘要模型行为的可视化控制，从而阻止模型复制这些段落的内容。
• 反向推理模型即使在用户撰写摘要的情况下，也能通过基于学习的注意力机制计算 $ p(t_i|x,y) $，准确识别出摘要中使用了哪些输入词。
• 将潜在钩子集成到摘要模型中，支持‘如果……会怎样’的分析与语义交互，例如测试在不同用户先验下模型输出的变化。
• 该系统表明，通过钩子暴露中间推理过程可显著提升模型可解释性，并支持自然语言处理任务中协同的人机交互。
• 共同设计过程揭示，有效的CSI需要可视化、交互设计与模型架构之间紧密集成，尤其在于将用户操作与模型内部机制对齐。