[论文解读] The Language Interpretability Tool: Extensible, Interactive Visualizations and Analysis for NLP Models

Ian Tenney, James Wexler+9 more|arXiv (Cornell University)|Aug 12, 2020

Topic Modeling参考文献 39被引用 13

一句话总结

语言可解释性工具（LIT）是一个开源的、基于浏览器的平台，支持对自然语言处理（NLP）模型进行交互式、可扩展的可视化与分析。它支持本地解释、聚合指标以及跨多种模型类型的实时反事实生成，并通过与框架无关的API实现无缝集成与可扩展性。

ABSTRACT

We present the Language Interpretability Tool (LIT), an open-source platform for visualization and understanding of NLP models. We focus on core questions about model behavior: Why did my model make this prediction? When does it perform poorly? What happens under a controlled change in the input? LIT integrates local explanations, aggregate analysis, and counterfactual generation into a streamlined, browser-based interface to enable rapid exploration and error analysis. We include case studies for a diverse set of workflows, including exploring counterfactuals for sentiment analysis, measuring gender bias in coreference systems, and exploring local behavior in text generation. LIT supports a wide range of models--including classification, seq2seq, and structured prediction--and is highly extensible through a declarative, framework-agnostic API. LIT is under active development, with code and full documentation available at https://github.com/pair-code/lit.

研究动机与目标

• 为解决在本地预测、整体性能和反事实输入之间缺乏集成的、交互式的NLP模型行为分析工具的问题。
• 通过在一个统一界面上整合本地解释、聚合分析和反事实生成，减少在多个分析工具间切换所需的时间和精力。
• 支持多种深度学习框架中的广泛NLP任务，包括分类、序列到序列（seq2seq）和结构化预测。
• 使研究人员和实践者能够快速测试关于模型行为的假设，例如对输入扰动的鲁棒性或预测中的偏见。
• 提供模块化、可扩展的架构，使用户无需深度集成即可插入新模型、数据类型和分析组件。

提出的方法

• LIT采用模块化、基于组件的用户界面，其中每个可视化或分析功能（例如注意力图、显著性图、混淆矩阵）都是一个自包含、可重用的模块。
• 它使用基于语义类型规范（例如TextSegment、MulticlassLabel）的声明式、与框架无关的API，用于描述模型输入、输出和数据字段。
• 系统根据检测到的数据类型动态渲染适当的可视化效果——例如，当检测到注意力头时，会显示注意力图。
• 反事实生成原生受支持：用户可实时修改输入文本，并立即观察模型预测和解释结果。
• LIT支持模型或输入之间的并排比较，并通过数据表和嵌入模块实现对数据集的交互式过滤、排序和搜索。
• 该平台作为Python服务器构建，搭配Web前端，可在本地或远程环境中轻松部署，设置简单。

实验结果

研究问题

• RQ1 如何实现对NLP模型行为在局部预测和整个数据集上的交互式、基于假设的分析？
• RQ2 统一且可扩展的界面在多大程度上能减少本地解释、聚合指标和反事实分析结合时的摩擦？
• RQ3 与框架无关的工具在支持多样化NLP任务（包括序列到序列和结构化预测模型）方面有多高效？
• RQ4 实时反事实生成和并排模型比较在改进错误诊断和偏见检测方面是否有效？
• RQ5 哪些设计原则能够实现可扩展性与社区贡献，同时保持对非专家用户的可用性？

主要发现

• LIT通过统一界面实现了对模型行为的快速、交互式探索，该界面集成了本地解释、聚合指标和反事实分析。
• 该平台通过灵活且可扩展的类型系统，支持广泛的NLP任务，包括文本分类、序列生成和结构化预测。
• 用户可实时生成并评估反事实输入，同时立即可视化模型预测和解释结果。
• 与框架无关的设计使LIT能够与基于TensorFlow、PyTorch或远程推理服务器构建的模型无缝集成，提升了可移植性和采用率。
• 内置模块（如注意力可视化、显著性图和混淆矩阵）能动态响应用户交互，支持迭代式假设检验。
• LIT的模块化架构支持社区贡献，可通过新增组件实现对新任务、新可视化或新分析技术的可扩展性。