[论文解读] Video Highlight Prediction Using Audience Chat Reactions

Cheng-Yang Fu, Joon Lee+2 more|arXiv (Cornell University)|Jul 26, 2017

Video Analysis and Summarization参考文献 29被引用 8

一句话总结

本文提出一种多模态方法，通过结合《英雄联盟》比赛的视觉特征与实时观众聊天反应（英文和繁体中文），实现电子竞技视频精彩瞬间预测。基于来自Twitch.tv直播的新型数据集，作者证明联合使用视觉与语言模态的字符级CNN-RNN模型可达到74.8%的最高F1分数，优于单模态模型，表明语言上下文有助于区分具有挑战性的视觉精彩瞬间。

ABSTRACT

Sports channel video portals offer an exciting domain for research on multimodal, multilingual analysis. We present methods addressing the problem of automatic video highlight prediction based on joint visual features and textual analysis of the real-world audience discourse with complex slang, in both English and traditional Chinese. We present a novel dataset based on League of Legends championships recorded from North American and Taiwanese Twitch.tv channels (will be released for further research), and demonstrate strong results on these using multimodal, character-level CNN-RNN model architectures.

研究动机与目标

• 通过利用实时观众聊天话语作为上下文性多模态信号，解决电子竞技中自动视频精彩瞬间预测的挑战。
• 创建并发布一个大规模、多语言的精彩瞬间标注比赛数据集，来源为Twitch.tv直播，涵盖英文（NALCS）与繁体中文（LMS）。
• 评估联合分析视觉视频特征与文本型观众聊天反应的多模态模型在精彩瞬间预测中的有效性。
• 探究粉丝聊天中的语言线索是否能提升仅依赖视觉的精彩瞬间检测性能，特别是在模糊或复杂的游戏中关键时刻。
• 探索英语与繁体中文单语模型之间的性能差距，并评估聊天量与语言复杂性对模型准确率的影响。

提出的方法

• 作者从Twitch.tv直播的《英雄联盟》比赛中收集并标注精彩片段，以社区创建的精彩片段作为真实标签。
• 使用3D卷积神经网络（V-CNN）提取视频片段的视觉特征，并通过字符级LSTM（L-Char-LSTM）处理聊天文本，以捕捉俚语及多语言表达等语言模式。
• 模型使用交叉熵损失进行训练，采用平衡采样策略，每轮训练包含5000个正样本帧与5000个负样本帧，批量大小为32，共训练60个周期。
• 在多模态融合中，将视觉与语言特征拼接后输入两层MLP，形成$lv$-LSTM模型，联合预测精彩帧。
• 作者通过分别训练仅视频输入、仅聊天输入及联合输入的模型进行消融研究，并使用精确率、召回率与F1分数评估性能。
• 将字符级LSTM与词级LSTM进行对比，评估子词级别表征在处理多语言聊天中罕见或俚语词汇时的影响。

实验结果

研究问题

• RQ1 多语言（英文与繁体中文）的实时观众聊天反应是否能为电子竞技视频精彩瞬间预测提供有用的上下文信号？
• RQ2 结合视觉与语言特征的多模态模型相较于仅使用视频或仅使用聊天训练的单模态模型，性能如何？
• RQ3 与词级建模相比，字符级建模是否能提升在包含复杂俚语与非标准拼写的多语言聊天数据上的性能？
• RQ4 语言多样性与聊天量在不同语言（尤其是繁体中文等低资源语言）中的影响程度如何，对模型性能有何影响？
• RQ5 粉丝评论中的语言线索是否能帮助解决仅靠计算机视觉难以分辨的视觉精彩瞬间模糊问题？

主要发现

• 融合视觉与语言特征的多模态$lv$-LSTM模型在测试集上达到最高的74.8% F1分数，优于所有单模态模型。
• 仅视觉的V-CNN-LSTM模型在最后25%的精彩片段上达到68.3%的F1分数，表明即使在游戏动画复杂的场景下，视觉性能依然强劲。
• 仅语言的L-Char-LSTM模型在使用全部100%精彩帧时F1分数为19.6%，但使用最后25%时提升至41.5%，表明时间上下文对语言建模至关重要。
• L-Char-LSTM模型相比L-Word-LSTM模型在F1分数上高出22.3%，表明字符级建模在处理多语言聊天中的俚语与罕见词汇时更为有效。
• 在LMS（繁体中文）数据集上，L-Char-LSTM模型达到39.7%的F1分数，低于NALCS（英文）数据集的43.2%，表明处理繁体中文聊天存在语言特异性挑战。
• 尽管NALCS（英文）数据集的聊天量更高，L-Char-LSTM模型的性能仍优于LMS，表明语言内容与结构比原始聊天量对模型性能影响更大。