[论文解读] VidLanKD: Improving Language Understanding via Video-Distilled Knowledge Transfer

Zineng Tang, Jaemin Cho+2 more|arXiv (Cornell University)|Jul 6, 2021

Multimodal Machine Learning Applications被引用 10

一句话总结

VidLanKD 提出了一种视频-语言知识蒸馏框架，通过仅使用文本数据，将多模态知识从一个视频-文本预训练的教师模型迁移至学生语言模型。通过利用大规模视频数据集和新颖的蒸馏目标（如 NST 和 CRD），该方法在仅使用文本或基于 vokenization 的模型基础上，提升了语言理解、物理推理和时间推理能力。

ABSTRACT

Since visual perception can give rich information beyond text descriptions for world understanding, there has been increasing interest in leveraging visual grounding for language learning. Recently, vokenization (Tan and Bansal, 2020) has attracted attention by using the predictions of a text-to-image retrieval model as labels for language model supervision. Despite its success, the method suffers from approximation error of using finite image labels and the lack of vocabulary diversity of a small image-text dataset. To overcome these limitations, we present VidLanKD, a video-language knowledge distillation method for improving language understanding. We train a multi-modal teacher model on a video-text dataset, and then transfer its knowledge to a student language model with a text dataset. To avoid approximation error, we propose to use different knowledge distillation objectives. In addition, the use of a large-scale video-text dataset helps learn diverse and richer vocabularies. In our experiments, VidLanKD achieves consistent improvements over text-only language models and vokenization models, on several downstream language understanding tasks including GLUE, SQuAD, and SWAG. We also demonstrate the improved world knowledge, physical reasoning, and temporal reasoning capabilities of our model by evaluating on the GLUE-diagnostics, PIQA, and TRACIE datasets. Lastly, we present comprehensive ablation studies as well as visualizations of the learned text-to-video grounding results of our teacher and student language models. Our code and models are available at: https://github.com/zinengtang/VidLanKD

研究动机与目标

• 解决 vokenization 方法的局限性，后者因依赖小型图文数据集而存在近似误差和词汇多样性有限的问题。
• 通过从大规模视频-文本数据中迁移更丰富、更多样化的世界知识（尤其是物理和时间常识），提升语言理解能力。
• 开发一种知识蒸馏方法，使仅使用文本的学生模型能够在无直接视觉输入的情况下学习多模态对齐。
• 在下游自然语言理解任务（包括 GLUE、SQuAD、SWAG 及专门的推理基准如 PIQA 和 TRACIE）中展示性能提升。
• 通过消融研究分析不同蒸馏目标和组件的有效性。

提出的方法

• 在 HowTo100M 数据集上使用对比学习和掩码语言建模预训练一个多模态教师模型，以学习联合的视频-语言表征。
• 冻结教师模型，并通过在仅使用文本的数据集上进行知识蒸馏，将其知识迁移至学生语言模型。
• 使用神经元选择性迁移（NST）和对比表示蒸馏（CRD）作为蒸馏目标，以避免 voken 分配带来的近似误差。
• 训练学生模型以匹配教师模型在文本输入上的上下文化文本表征，使其在未见图像的情况下也能学习多模态对齐。
• 利用 HowTo100M 视频数据中大规模、多样化的词汇以及丰富的物理和时间常识，增强学生模型的世界知识。
• 通过评估学生模型在文本查询上的检索性能，可视化学习到的文本到视频对齐能力。

实验结果

研究问题

• RQ1 从视频-语言模型进行知识蒸馏是否能超越仅使用文本预训练的语言理解能力？
• RQ2 与图像数据相比，使用视频数据是否能更有效地捕捉语言模型中的物理和时间常识知识？
• RQ3 仅使用文本的学生模型能否通过从视频-语言教师模型蒸馏学习到有效的多模态对齐？
• RQ4 不同蒸馏目标（如 NST、CRD）在从视频到文本的知识迁移中表现如何比较？
• RQ5 基于视频的蒸馏在 PIQA 和 TRACIE 等推理基准测试中能多大程度上提升性能？

主要发现

• VidLanKD 在 GLUE、SQuAD 和 SWAG 基准测试中达到最先进性能，优于仅使用文本的 BERT 和基于 vokenization 的模型。
• 在 GLUE-diagnostics 数据集上，模型在知识类别上提升了 4.6 分，表明外部世界知识和常识能力得到增强。
• 在 PIQA 上提升 3.1 分，在 TRACIE 上提升 3.3 分，证明了物理和时间推理能力的显著增强。
• 文本到视频检索结果表明，尽管未接受视觉训练，学生模型仍能检索到语义对齐的视频片段，证实其具备学习到的对齐能力。
• 消融研究确认，基于视频的预训练以及 CRD/NST 蒸馏目标对性能提升至关重要。
• 该方法成功地将 HowTo100M 这一大规模视频数据集中的丰富、多样化的世界知识迁移至学生模型，从而提升了语言模型的语言理解、物理推理和时间推理能力。