[论文解读] Music2Video: Automatic Generation of Music Video with fusion of audio and text

Yoonjeon Kim, Joel Jang+1 more|arXiv (Cornell University)|Jan 11, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出 Music2Video 框架，通过基于 CLIP 的引导融合音频和文本嵌入，生成高质量且时间上一致的音乐视频。该方法基于起音强度动态分割音乐以确定场景切换点，并应用联合音频-文本提示的迭代潜在空间优化，通过 CLIP 向量融合与时间正则化实现视觉一致的视频生成。

ABSTRACT

Creation of images using generative adversarial networks has been widely adapted into multi-modal regime with the advent of multi-modal representation models pre-trained on large corpus. Various modalities sharing a common representation space could be utilized to guide the generative models to create images from text or even from audio source. Departing from the previous methods that solely rely on either text or audio, we exploit the expressiveness of both modality. Based on the fusion of text and audio, we create video whose content is consistent with the distinct modalities that are provided. A simple approach to automatically segment the video into variable length intervals and maintain time consistency in generated video is part of our method. Our proposed framework for generating music video shows promising results in application level where users can interactively feed in music source and text source to create artistic music videos. Our code is available at https://github.com/joeljang/music2video.

研究动机与目标

• 解决生成与音频和歌词文本内容一致的音乐视频的挑战。
• 通过有效融合模态，克服多模态生成中音频与文本模态之间的冲突引导。
• 通过检测起音强度等音乐统计量的变化，实现基于音乐的动态场景切换。
• 通过潜在空间正则化与提示融合，保持生成视频帧之间的时间一致性。
• 提供一个交互式系统，用户可输入音乐与文本生成艺术性音乐视频。

提出的方法

• 基于起音强度检测将音乐分割为可变长度区间，以识别自然的场景切换点。
• 将每个音乐段落转换为梅尔频谱图，并计算平均强度以确定生成的帧率（每秒帧数）。
• 通过将音频和文本提示编码为 CLIP 嵌入并采用平均（公式 2）的方式融合，实现联合引导。
• 在 VQ-GAN 中应用迭代潜在空间优化，使用融合后的 CLIP 向量生成与双模态一致的帧。
• 通过正则化连续潜在向量之间的 L1 距离（公式 1）并使用平均 CLIP 提示，实现时间一致性。
• 采用带有对抗损失与重建损失的 VQ-GAN 生成器，从融合的音频-文本潜在码生成高保真图像。

实验结果

研究问题

• RQ1 如何有效融合音频与文本模态，以引导音乐视频生成，同时避免模态间冲突？
• RQ2 基于音频统计量，如何有效检测音乐中自然的场景切换点？
• RQ3 在迭代潜在空间优化过程中，如何保持视频帧之间的时间一致性？
• RQ4 通过 CLIP 嵌入实现的联合音频-文本提示，是否能产生比单模态提示更连贯且更具艺术意义的视频序列？
• RQ5 基于音乐起音强度的动态分割与固定间隔分割相比，在视觉连贯性与主题一致性方面表现如何？

主要发现

• 通过 CLIP 嵌入平均（公式 2）融合音频与文本，相比潜在向量的 L1 正则化，显著提升了视觉一致性。
• 基于起音强度的动态分割实现了更自然且与音乐契合的场景切换，平均段落时长为 0.6 秒。
• 该方法成功生成了时间上一致的视频序列，如图 2 和图 3 所示，前一帧中的物体在后续帧中得以保留。
• 同时使用音频与文本提示生成的视频内容比单独使用任一模态更符合主题，如帧级与歌词对齐所证实。
• 该框架支持交互式音乐视频创作，用户可输入音乐与歌词，以最少用户干预生成艺术性视频。
• 该方法优于简单的交替优化策略（即在音频与文本提示间交替进行），后者导致视觉输出不一致。