[论文解读] Soundify: Matching Sound Effects to Video

David Chuan-En Lin, Anastasis Germanidis+3 more|arXiv (Cornell University)|Dec 17, 2021

Music and Audio Processing参考文献 35被引用 4

一句话总结

Soundify 是一种新颖的系统，利用 CLIP 的激活图自动检测、同步并空间化专业音效库中的高质量音效，使其与视频素材匹配，显著减少工作量和任务完成时间，同时在专家评估中提升了可用性。该系统无需训练音频生成模型即可实现零样本音效匹配，其在偏好和效率方面均优于人工编辑。

ABSTRACT

In the art of video editing, sound helps add character to an object and immerse the viewer within a space. Through formative interviews with professional editors (N=10), we found that the task of adding sounds to video can be challenging. This paper presents Soundify, a system that assists editors in matching sounds to video. Given a video, Soundify identifies matching sounds, synchronizes the sounds to the video, and dynamically adjusts panning and volume to create spatial audio. In a human evaluation study (N=889), we show that Soundify is capable of matching sounds to video out-of-the-box for a diverse range of audio categories. In a within-subjects expert study (N=12), we demonstrate the usefulness of Soundify in helping video editors match sounds to video with lighter workload, reduced task completion time, and improved usability.

研究动机与目标

• 解决专业剪辑工作流程中手动将音效与视频匹配耗时且具挑战性的问题。
• 开发一种利用现有专业级音效库的系统，而非从零开始训练音频生成模型。
• 通过复用 CLIP（一种图文嵌入模型）实现零样本音效匹配，用于检测音视频对应关系。
• 通过分析激活图，基于视频内容动态同步并空间化音效（声像定位/音量）。
• 通过大规模人工评估和专家研究，评估系统的有效性与可用性。

提出的方法

• 通过分析 CLIP 内部激活图中音视频对应关系，将原本用于图像-文本分类的 CLIP 复用于零样本音效检测。
• 利用 CLIP 激活图的空间坐标，确定音效在立体声场中的最佳声像定位（左右位置）。
• 利用激活图的面积估算每个音效的相对音量，确保音量随视觉显著性动态变化。
• 通过视频内容与音效片段元数据之间的标签匹配，从精心筛选的专业级音效库中检索匹配的音效片段。
• 通过将音效片段的起始时间对准视频帧中检测到的视觉事件，实现音效与视频的自动同步。
• 支持多层音效叠加（如前景音效与环境音），以构建复杂且沉浸式的音频场景。

实验结果

研究问题

• RQ1 是否可以仅通过 CLIP 的激活图实现零样本音效检测，而无需微调或训练音频生成模型，有效识别视频中的相关音效？
• RQ2 与人工基线方法相比，Soundify 在自动匹配多样化音效与复杂视频内容方面表现如何？
• RQ3 Soundify 在专业视频剪辑工作流程中，能在多大程度上减少工作量、缩短任务完成时间并提升可用性？
• RQ4 专业剪辑师在真实剪辑场景中，如何评价 Soundify 的准确性、直观性和实用性？

主要发现

• 在包含 889 名评估者的大型人工评估中，Soundify 在各类音频类别中匹配音效的表现显著优于基线方法。
• 在 12 名专业剪辑师参与的被试内专家研究中，与 Adobe Premiere Pro 中的人工编辑相比，Soundify 显著缩短了任务完成时间。
• 使用 Soundify 时，参与者报告的工作量显著降低（p=0.003），表明认知与体力负担明显减轻。
• 可用性显著更高（平均分 6.03 vs. 4.70，7 分制，p=0.003），用户表示无需指导即可轻松学习和使用。
• 剪辑师赞赏自动场景分割、按场景导出音频以及动态声像定位等功能，这些功能消除了传统 DAW 中重复设置关键帧的繁琐操作。
• 该系统在无需关键词搜索的情况下有效识别相关音效，用户特别强调“无需寻宝式查找音效”是其主要优势。