[论文解读] Multilevel profiling of situation and dialogue-based deep networks for movie genre classification using movie trailers

Dinesh Kumar Vishwakarma, Mayank Jindal+2 more|arXiv (Cornell University)|Sep 14, 2021

Video Analysis and Summarization被引用 5

一句话总结

本文提出了一种多层级深度学习框架，用于基于电影预告片的电影类型分类，整合了基于情境的视觉特征（名词/动词）、对话音频特征和元数据。通过早期融合这些模态，并在新的英语电影预告片数据集（EMTD）和 LMTD-9 上进行评估，该方法在五个类型（动作、爱情、喜剧、恐怖和科幻）中均实现了最先进性能，F1 分数、精确率、召回率和 AUPRC 均表现优异。

ABSTRACT

Automated movie genre classification has emerged as an active and essential area of research and exploration. Short duration movie trailers provide useful insights about the movie as video content consists of the cognitive and the affective level features. Previous approaches were focused upon either cognitive or affective content analysis. In this paper, we propose a novel multi-modality: situation, dialogue, and metadata-based movie genre classification framework that takes both cognition and affect-based features into consideration. A pre-features fusion-based framework that takes into account: situation-based features from a regular snapshot of a trailer that includes nouns and verbs providing the useful affect-based mapping with the corresponding genres, dialogue (speech) based feature from audio, metadata which together provides the relevant information for cognitive and affect based video analysis. We also develop the English movie trailer dataset (EMTD), which contains 2000 Hollywood movie trailers belonging to five popular genres: Action, Romance, Comedy, Horror, and Science Fiction, and perform cross-validation on the standard LMTD-9 dataset for validating the proposed framework. The results demonstrate that the proposed methodology for movie genre classification has performed excellently as depicted by the F1 scores, precision, recall, and area under the precision-recall curves.

研究动机与目标

• 为解决现有方法仅关注认知或情感特征的不足，提出在统一框架中整合两者。
• 开发一种新型大规模英语电影预告片数据集（EMTD），包含 2000 个好莱坞预告片，覆盖五个类型，以提升训练与评估效果。
• 设计一种预特征融合架构，在深度学习处理前融合情境、对话和元数据表征。
• 通过利用预告片中的认知（内容）和情感（情绪基调）信号，实现鲁棒且准确的电影类型分类。
• 通过在标准 LMTD-9 数据集上进行交叉验证，验证框架的有效性，并展示优越的性能指标。

提出的方法

• 该框架使用名词和动词检测从静态预告片帧中提取基于情境的特征，以捕捉与类型相关的上下文和情感线索。
• 通过语音处理技术从音频字幕中提取基于对话的特征，以建模语言和情感内容。
• 将导演、演员阵容和发行年份等元数据特征作为补充输入，以增强认知理解。
• 采用预特征融合策略，在输入深度神经网络进行端到端训练前，融合情境、对话和元数据嵌入表示。
• 模型采用深度网络（如卷积神经网络或 Transformer）从融合的多模态输入中学习分层表征。
• 在 LMTD-9 数据集上进行交叉验证以评估泛化能力，性能通过 F1 分数、精确率、召回率和 AUPRC 衡量。

实验结果

研究问题

• RQ1 多模态融合情境、对话和元数据特征是否能超越单模态或晚期融合方法，提升电影类型分类性能？
• RQ2 所提出的预特征融合策略在捕捉电影预告片中认知与情感信号方面的有效性如何？
• RQ3 与现有基准相比，新创建的 EMTD 数据集在多大程度上提升了模型性能？
• RQ4 在标准类型分类基准上，所提出框架与最先进方法相比的性能表现如何？
• RQ5 各模态（情境、对话、元数据）对最终分类准确率的贡献程度如何？

主要发现

• 所提框架在 LMTD-9 数据集上实现了最先进性能，五个类型（动作、爱情、喜剧、恐怖和科幻）的 F1 分数均表现优异。
• 模型展现出较高的精确率与召回率，表明在多样化类型类别中分类结果平衡且可靠。
• 精确率-召回率曲线下方面积（AUPRC）显著提升，证实了在类型分布不平衡情况下的稳健性能。
• 情境化视觉特征（名词/动词）的整合增强了情感映射，有助于提升类型区分能力。
• 基于对话的音频特征有效捕捉了情感与语言线索，提升了恐怖片和爱情片等类型的分类性能。
• 包含 2000 个好莱坞预告片的 EMTD 数据集为未来基于预告片的类型分类研究提供了宝贵、多样且平衡的基准。