[论文解读] UniMS: A Unified Framework for Multimodal Summarization with Knowledge Distillation

Zhengkun Zhang, Xiaojun Meng+4 more|arXiv (Cornell University)|Sep 13, 2021

Natural Language Processing Techniques被引用 9

一句话总结

UniMS 提出了一种基于 BART 的统一框架，用于多模态摘要生成，通过知识蒸馏从视觉-语言模型中学习，实现抽取式与生成式文本摘要以及图像选择的联合优化，无需依赖图像字幕。该方法通过引入视觉引导注意力机制和多目标监督，在 MSMO 基准上实现了最先进性能。

ABSTRACT

With the rapid increase of multimedia data, a large body of literature has emerged to work on multimodal summarization, the majority of which target at refining salient information from textual and visual modalities to output a pictorial summary with the most relevant images. Existing methods mostly focus on either extractive or abstractive summarization and rely on qualified image captions to build image references. We are the first to propose a Unified framework for Multimodal Summarization grounding on BART, UniMS, that integrates extractive and abstractive objectives, as well as selecting the image output. Specially, we adopt knowledge distillation from a vision-language pretrained model to improve image selection, which avoids any requirement on the existence and quality of image captions. Besides, we introduce a visual guided decoder to better integrate textual and visual modalities in guiding abstractive text generation. Results show that our best model achieves a new state-of-the-art result on a large-scale benchmark dataset. The newly involved extractive objective as well as the knowledge distillation technique are proven to bring a noticeable improvement to the multimodal summarization task.

研究动机与目标

• 为解决现有多模态摘要方法依赖高质量图像字幕进行图像选择的局限性。
• 在单一多任务框架中统一抽取式与生成式文本摘要以及图像选择。
• 通过利用 CLIP 等视觉-语言模型的知识蒸馏，降低对图像字幕的依赖。
• 通过联合监督抽取式与图像选择目标，提升模态理解能力并减少模态偏差。
• 通过在解码器中引入视觉引导注意力机制，增强生成式文本摘要的质量。

提出的方法

• 该框架在 BART 基础上扩展了多模态编码器，通过图像块的线性投影获得视觉嵌入，联合处理文本与视觉输入。
• 从预训练的视觉-语言模型（如 CLIP）中应用知识蒸馏，通过余弦相似度学习图文相关性，以指导图像选择。
• 引入抽取式目标以监督编码器，提升其对关键文本内容的理解能力，减少模态偏差。
• 视觉引导的解码器在生成过程中分别关注文本与视觉特征，增强跨模态融合能力。
• 模型采用端到端训练，同时优化三项任务：抽取式摘要、生成式摘要与图像选择，实现联合优化。
• 使用类激活映射（CAM）可视化注意力机制，结果表明模型能关注到语义相关的图像区域与文本标记。

实验结果

研究问题

• RQ1 是否能够在一个统一的多任务学习框架中，联合优化抽取式与生成式文本摘要以及图像选择？
• RQ2 在不依赖图像字幕存在或质量的前提下，如何提升图像选择性能？
• RQ3 从视觉-语言模型中进行知识蒸馏在多模态摘要性能上能带来多大程度的提升？
• RQ4 在生成式与图像选择目标之外引入抽取式目标，是否能有效减少模态偏差并提升整体性能？
• RQ5 视觉引导注意力在多模态设置下对增强生成式文本摘要的有效性如何？

主要发现

• 所提出的 UniMS 框架在大规模 MSMO 基准数据集上实现了新的 SOTA 结果。
• 即使不使用图像字幕，采用知识蒸馏的模型在图像选择任务上也优于基线模型。
• 引入抽取式目标显著提升了生成新 n-gram 的能力，表明其具备更强的生成式泛化能力。
• 人工评估确认，与基线相比，UniMS 生成的摘要在相关性、一致性与忠实度方面均更优，且所有改进均具有统计显著性（p < 0.001）。
• 使用 CAM 的可视化结果表明，模型能关注到语义相关的图像区域（如人物、球员）与关键文本标记（如 'said', 'attempt'），与参考摘要高度对齐。
• 使用预训练视觉主干网络（如 CLIP-ResNet50 或 ViT-B-32）并未显著提升性能，而图像块的线性投影已足够且更高效。