[论文解读] Structural Knowledge Distillation: Tractably Distilling Information for Structured Predictor

Xinyu Wang, Yong Jiang+7 more|arXiv (Cornell University)|Oct 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 40被引用 6

一句话总结

本文提出结构知识蒸馏（SKD），一种可处理的知识蒸馏方法，通过在子结构上分解知识蒸馏目标，实现从大型结构化预测模型（教师模型）到小型模型（学生模型）的知识迁移。该方法在多种模型架构间实现有效蒸馏，包括具有不兼容分解形式的模型，并在实验中优于先前方法，甚至在无标注数据支持下，使学生模型在零样本跨语言迁移任务中超越教师模型。

ABSTRACT

Knowledge distillation is a critical technique to transfer knowledge between models, typically from a large model (the teacher) to a more fine-grained one (the student). The objective function of knowledge distillation is typically the cross-entropy between the teacher and the student's output distributions. However, for structured prediction problems, the output space is exponential in size; therefore, the cross-entropy objective becomes intractable to compute and optimize directly. In this paper, we derive a factorized form of the knowledge distillation objective for structured prediction, which is tractable for many typical choices of the teacher and student models. In particular, we show the tractability and empirical effectiveness of structural knowledge distillation between sequence labeling and dependency parsing models under four different scenarios: 1) the teacher and student share the same factorization form of the output structure scoring function; 2) the student factorization produces more fine-grained substructures than the teacher factorization; 3) the teacher factorization produces more fine-grained substructures than the student factorization; 4) the factorization forms from the teacher and the student are incompatible.

研究动机与目标

• 解决标准知识蒸馏在结构化预测中因输出空间呈指数级增长而导致的不可行性问题。
• 开发一种可处理的知识蒸馏目标，利用结构化模型中的子结构分解。
• 实现在教师模型与学生模型具有不同或不兼容分解形式时的有效蒸馏。
• 通过利用大型教师模型的知识，提升学生模型在结构化预测任务中的性能。
• 在低资源和零样本跨语言设置中证明SKD的有效性。

提出的方法

• 基于子结构评分函数，推导出知识蒸馏目标的分解形式，实现可处理的计算。
• 假设教师模型在子结构上的边缘分布可高效计算，且学生模型的子结构空间为多项式规模。
• 将分解后的目标应用于训练学生模型，使用由教师模型子结构预测推导出的蒸馏损失。
• 支持四种场景：共享分解、学生更细粒度、教师更细粒度、分解形式不兼容。
• 利用无标注数据进一步提升学生模型的泛化能力，尤其在零样本跨语言迁移中表现显著。
• 采用CRF、MaxEnt及NER-as-parsing等标准结构化预测模型进行评估。

实验结果

研究问题

• RQ1 能否使知识蒸馏在输出空间呈指数级增长的结构化预测任务中变得可处理？
• RQ2 当教师模型与学生模型使用不同或不兼容的输出评分分解形式时，如何实现有效的蒸馏？
• RQ3 与标准蒸馏或无蒸馏相比，结构知识蒸馏是否能提升学生模型的性能？
• RQ4 无标注数据是否能进一步增强学生模型在零样本跨语言设置下的性能？
• RQ5 经过SKD训练的学生模型是否能在无微调的情况下，在跨语言迁移任务中超越教师模型？

主要发现

• 所提出的结构知识蒸馏方法在教师-学生模型兼容性的四种场景中，性能均优于基线蒸馏方法。
• 在先前蒸馏方法适用的情况下，SKD始终表现更优，尤其在序列标注和依存句法分析任务中优势显著。
• 在拥有足够无标注数据时，通过SKD训练的学生模型可在零样本跨语言迁移中超越教师模型，展现出强大的泛化能力。
• 即使教师模型与学生模型的分解形式不兼容，该方法依然有效，而此前方法难以应对此类情况。
• 教师模型的边缘预测（如逐位置分布）不足以实现高精度，凸显了结构蒸馏的价值。
• 分解后的蒸馏目标支持高效优化，且适用于CRF、MaxEnt及NER-as-parsing等广泛应用的模型。