[论文解读] PySS3: A Python package implementing a novel text classifier with visualization tools for Explainable AI

Sergio Burdisso, Marcelo Luis Errecalde+1 more|arXiv (Cornell University)|Dec 19, 2019

Explainable Artificial Intelligence (XAI)参考文献 6被引用 6

一句话总结

PySS3 是一个开源的 Python 软件包，实现了 SS3 文本分类器，这是一种新颖的、可解释的、增量式的文本分类模型，并内置了可视化工具以增强可解释性。它通过置信度向量计算、分层块处理以及用于实时测试和超参数优化的交互式工具，实现了稳健、可信且透明的文档分类，在 CLEF eRisk 任务中达到了最先进水平的性能。

ABSTRACT

A recently introduced text classifier, called SS3, has obtained state-of-the-art performance on the CLEF's eRisk tasks. SS3 was created to deal with risk detection over text streams and, therefore, not only supports incremental training and classification but also can visually explain its rationale. However, little attention has been paid to the potential use of SS3 as a general classifier. We believe this could be due to the unavailability of an open-source implementation of SS3. In this work, we introduce PySS3, a package that implements SS3 and also comes with visualization tools that allow researchers to deploy robust, explainable, and trusty machine learning models for text classification.

研究动机与目标

• 为 SS3 文本分类器缺乏开源实现的问题提供解决方案，该分类器在早期风险检测任务中已展现出最先进性能。
• 使研究人员和从业者能够通过用户友好的 Python 软件包部署可解释、增量式且稳健的文本分类模型。
• 提供交互式可视化工具，突出显示相关文本部分，从而提升模型的可解释性和可信度。
• 通过交互式三维评估图表和网格搜索功能，支持超参数优化。
• 通过支持交互式模型评估结果的共享，提升 NLP 研究中的透明度和可复现性。

提出的方法

• SS3 分类器使用函数 $gv(w,c)$ 计算词的置信度向量 $\overrightarrow{gv}(w)$，该函数为每个词-类别对分配 [0,1] 范围内的值，反映该词对某一类别的专属相关性。
• 该模型通过将文档分块（例如段落、句子）进行分层处理，然后在词级别应用汇总操作符（默认为向量相加），将置信度向量沿层次结构逐级聚合。
• 该软件包支持增量训练，通过更新类别词典添加新文档，而无需从头开始重新训练。
• PySS3 包含一个“实时测试”工具，可通过高亮相关文本片段，实现实时、可视化的模型推理与解释。
• 自定义的“评估”类支持对 $\sigma$、$\lambda$ 和 $\rho$ 参数进行网格搜索超参数调优，并提供交互式三维 HTML 可视化结果。
• 该软件包基于 Python 构建，依赖 scikit-learn 和 Matplotlib，并提供基于 Web 的界面用于模型检查与共享。

实验结果

研究问题

• RQ1 SS3 文本分类器的开源实现是否能提升其在 NLP 研究中的可访问性和采用率？
• RQ2 SS3 模型在无需特征工程的情况下，是否在提供可解释性、增量式和稳健的文本分类方面表现有效？
• RQ3 PySS3 中的可视化工具在多大程度上提升了模型的可解释性和用户信任？
• RQ4 超参数 $\sigma$、$\lambda$ 和 $\rho$ 对模型性能有何影响，如何实现最优调优？
• RQ5 交互式、可共享的三维评估图表是否能提升模型评估的透明度和可复现性？

主要发现

• PySS3 成功实现了 SS3 分类器，全面支持增量训练与分类，可实现在文本流上的实时部署。
• 该软件包的可视化工具使用户能够通过高亮输入文本中的相关词语和短语，交互式地检查和解释模型预测。
• 网格搜索超参数调优确定了在测试配置下最优的参数值为 $\sigma=0.32$、$\lambda=1.24$ 和 $\rho=1.1$，显著提升了模型性能。
• 三维评估图表显示，$\rho$（制裁）超参数对性能影响极小，而 $\lambda$（显著性）和 $\sigma$（平滑度）则表现出清晰的性能趋势。
• 交互式 HTML 评估图表具有可移植性和可共享性，支持模型评估的可复现性和透明性，如评估文件的公开可用性所证明。
• PySS3 采用 MIT 许可证发布，兼容 Linux、macOS 和 Windows，提供完整的文档和 GitHub 与 Read the Docs 上的支持。