[论文解读] VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs

Xudong Lin, Gedas Bertasius+4 more|arXiv (Cornell University)|Jan 28, 2021

Multimodal Machine Learning Applications参考文献 53被引用 8

一句话总结

Vx2Text 提出了一种基于多模态输入（视频、文本、音频或语音）的端到端统一框架，用于视频文本生成。它通过可微分标记化将每种模态映射到共享语言空间，利用 Transformer 编码器-解码器架构实现多模态融合，无需专用融合模块，从而在视频字幕、视觉问答和音视频对话任务上实现最先进性能，且无需多模态掩码预训练。

ABSTRACT

We present extsc{Vx2Text}, a framework for text generation from multimodal inputs consisting of video plus text, speech, or audio. In order to leverage transformer networks, which have been shown to be effective at modeling language, each modality is first converted into a set of language embeddings by a learnable tokenizer. This allows our approach to perform multimodal fusion in the language space, thus eliminating the need for ad-hoc cross-modal fusion modules. To address the non-differentiability of tokenization on continuous inputs (e.g., video or audio), we utilize a relaxation scheme that enables end-to-end training. Furthermore, unlike prior encoder-only models, our network includes an autoregressive decoder to generate open-ended text from the multimodal embeddings fused by the language encoder. This renders our approach fully generative and makes it directly applicable to different "video+$x$ to text" problems without the need to design specialized network heads for each task. The proposed framework is not only conceptually simple but also remarkably effective: experiments demonstrate that our approach based on a single architecture outperforms the state-of-the-art on three video-based text-generation tasks -- captioning, question answering and audio-visual scene-aware dialog.

研究动机与目标

• 开发一种统一的、端到端的框架，用于从包括视频、文本、语音或音频在内的多模态输入生成开放式文本。
• 通过将所有模态映射到共享语言嵌入空间，消除对临时交叉模态融合模块的需求。
• 尽管连续模态的标记化过程本身不可微分，仍通过松弛方案实现端到端训练。
• 使用单一架构在多种文本生成任务（字幕、问答、对话）上实现强大性能，且无需任务特定头。
• 证明使用解码器的生成建模优于判别式基线，且在无需复杂融合机制的情况下表现更优。

提出的方法

• 每种模态（视频、音频、文本）由特定模态的分类器处理，以预测最高类别标签，随后通过预训练语言模型将这些标签嵌入到共享语言空间。
• 对连续输入（如视频或音频特征）的标记化过程应用可微分松弛方案，使反向传播能够通过标记化步骤。
• 所有模态生成的语言嵌入通过 Transformer 编码器融合，将多模态序列作为单一输入序列处理。
• 自回归 Transformer 解码器从融合后的多模态表示中逐步生成开放式文本标记。
• 整个模型通过在生成文本上的标准语言建模范式进行端到端训练。
• 为在需要帧级特征的基准（如 TVQA）上实现公平比较，将目标检测预测结果作为额外模态输入。

实验结果

研究问题

• RQ1 基于可微分标记化和共享语言空间的统一端到端框架，是否能在多个基于视频的文本生成任务上超越专用模型？
• RQ2 用自回归生成解码器替代判别式建模，是否能在无需任务特定头的情况下提升多模态文本生成性能？
• RQ3 基于语言空间对齐的简单融合机制，是否能在多模态视频理解中优于复杂的跨模态注意力模块？
• RQ4 与分别训练各模块相比，采用可微分标记化的端到端训练在泛化能力上有多大提升？
• RQ5 所提方法是否能在不依赖昂贵多模态掩码预训练的情况下实现最先进性能？

主要发现

• 在 AVSD 基准上，当仅使用 10% 训练数据时，Vx2Text 在准确率上比最先进模型 MTN 提升 1.5%；当使用 50% 数据训练时，其性能超过全监督的 MTN 模型。
• 在 TVQA 上，Vx2Text 在测试集上相比之前 SOTA（HERO）提升 1.4%，且在双方均未使用多模态掩码预训练时，提升达 4.7%。
• 在 TVC（视频字幕）任务上，Vx2Text 显著优于 MMT 的 SOTA 系统，即使 HERO 使用了额外 3 周的 760 万样本多模态掩码预训练，Vx2Text 仍能匹配或超越其性能。
• 定性结果表明，Vx2Text 生成的响应自然且上下文相关，能整合所有模态的信息，包括动作和角色身份，即使输入仅为语音转录或对话历史。
• 消融研究证实，采用端到端训练的生成解码器相比判别式基线带来显著性能提升，证明了所提训练范式的优越性。
• 可微分标记化的使用实现了完整的端到端训练，消除了流水线中独立、不可微分的标记化步骤。