[论文解读] ProtoryNet - Interpretable Text Classification Via Prototype Trajectories

Dat Hong, Tong Wang+1 more|arXiv (Cornell University)|Jul 3, 2020

Topic Modeling参考文献 42被引用 7

一句话总结

ProtoryNet 是一种新颖的可解释深度神经网络，用于文本分类，其通过原型轨迹——动态的代表性句子序列——来建模文本中的语义演化。通过将每个句子映射到最相似的原型，并利用RNN追踪这些原型的转换，ProtoryNet 实现了细粒度、人类可理解的模型决策解释，其准确率高于可解释基线模型，且与黑箱模型的差距显著缩小，同时在剪枝后仅使用约20个原型。

ABSTRACT

We propose a novel interpretable deep neural network for text classification, called ProtoryNet, based on a new concept of prototype trajectories. Motivated by the prototype theory in modern linguistics, ProtoryNet makes a prediction by finding the most similar prototype for each sentence in a text sequence and feeding an RNN backbone with the proximity of each sentence to the corresponding active prototype. The RNN backbone then captures the temporal pattern of the prototypes, which we refer to as prototype trajectories. Prototype trajectories enable intuitive and fine-grained interpretation of the reasoning process of the RNN model, in resemblance to how humans analyze texts. We also design a prototype pruning procedure to reduce the total number of prototypes used by the model for better interpretability. Experiments on multiple public data sets show that ProtoryNet is more accurate than the baseline prototype-based deep neural net and reduces the performance gap compared to state-of-the-art black-box models. In addition, after prototype pruning, the resulting ProtoryNet models only need less than or around 20 prototypes for all datasets, which significantly benefits interpretability. Furthermore, we report a survey result indicating that human users find ProtoryNet more intuitive and easier to understand than other prototype-based methods.

研究动机与目标

• 解决文档级原型在捕捉长文本序列中细粒度情感动态和时间演变方面的局限性。
• 通过用人类可读的代表性句子替代复杂且不直观的注意力权重或潜在特征，提升模型可解释性。
• 减少实现可靠性能所需的原型数量，提升非技术用户的应用可用性。
• 设计一种既准确又直观的模型，使即使是新手用户也能理解预测背后的推理过程。
• 构建一种轻量化、高效的架构，在无需大量超参数调优的情况下保持高性能。

提出的方法

• 将原型定义为从训练数据中选取的代表性句子，以反映各类别的典型表达。
• 对于每个输入句子，使用预训练的句子嵌入（如 Universal Sentence Encoder）计算其与所有原型的语义相似度。
• 将每个句子分配给最相似的原型，形成一组活跃原型的序列——称为“原型轨迹”—以反映文本语义焦点的动态演变。
• 将原型接近度序列（即相似度分数）输入RNN主干网络，以建模时间动态并生成最终预测。
• 应用原型剪枝过程，基于其对预测性能的贡献移除冗余或低影响的原型，从而降低模型复杂度。
• 在所有数据集上使用共享的超参数配置，减少调优需求，提升实际可用性。

实验结果

研究问题

• RQ1 原型轨迹是否能有效建模长文本序列中情感与意义的动态演化，超越静态的文档级原型？
• RQ2 基于原型的模型是否能在保持高可解释性的同时，实现高于现有可解释基线的准确率？
• RQ3 原型剪枝在不降低性能的前提下，能在多大程度上减少原型数量，且剪枝后的模型是否仍保持可解释性？
• RQ4 与其它基于原型的模型相比，非专家用户对ProtoryNet的可解释性感知如何？
• RQ5 该模型是否能在极少超参数调优的情况下保持强性能，且是否适用于能效友好或绿色AI应用？

主要发现

• ProtoryNet 在多个公开文本分类数据集上的预测准确率均优于现有可解释基线模型。
• 经过原型剪枝后，ProtoryNet 模型在所有数据集上平均仅使用约20个原型，相比需要数百个原型的基线模型，可解释性显著提升。
• ProtoryNet 与最先进黑箱模型（如 Transformers）之间的性能差距显著缩小，展现出强大的竞争力。
• 人工评估显示，用户认为 ProtoryNet 比其他基于原型的方法更具直观性且更易理解，新手用户在解释准确性上可与专家媲美。
• ProtoryNet 的非微调版本已优于可解释基线模型，且因其轻量化、能效高的设计，展现出强大的绿色AI潜力。
• 该模型在使用单一固定超参数配置下，于各数据集上均保持一致的高性能，表明其鲁棒性与易部署性。