[论文解读] Video (GIF) Sentiment Analysis using Large-Scale Mid-Level Ontology

Zheng Cai, Donglin Cao+1 more|arXiv (Cornell University)|Jun 2, 2015

Sentiment Analysis and Opinion Mining参考文献 6被引用 4

一句话总结

本文提出 SentiPair Sequence，一种基于同义词森林构建的中层视觉情感本体，用于建模 GIF 视频中的时空抽象以实现情感分析。通过将形容词-名词对（ANP）和动词-名词对（VNP）组合成有序序列，该方法在情感预测中实现了 72.6% 的准确率，优于 ANP 和 VNP 基线模型。作者还发布了包含 6,000 个手动标注 GIF 的 GSO-2015 数据集，供公众使用。

ABSTRACT

With faster connection speed, Internet users are now making social network a huge reservoir of texts, images and video clips (GIF). Sentiment analysis for such online platform can be used to predict political elections, evaluates economic indicators and so on. However, GIF sentiment analysis is quite challenging, not only because it hinges on spatio-temporal visual contentabstraction, but also for the relationship between such abstraction and final sentiment remains unknown.In this paper, we dedicated to find out such relationship.We proposed a SentiPairSequence basedspatiotemporal visual sentiment ontology, which forms the midlevel representations for GIFsentiment. The establishment process of SentiPair contains two steps. First, we construct the Synset Forest to define the semantic tree structure of visual sentiment label elements. Then, through theSynset Forest, we organically select and combine sentiment label elements to form a mid-level visual sentiment representation. Our experiments indicate that SentiPair outperforms other competing mid-level attributes. Using SentiPair, our analysis frameworkcan achieve satisfying prediction accuracy (72.6%). We also opened ourdataset (GSO-2015) to the research community. GSO-2015 contains more than 6,000 manually annotated GIFs out of more than 40,000 candidates. Each is labeled with both sentiment and SentiPair Sequence.

研究动机与目标

• 为解决 GIF 情感分析的挑战，该挑战因噪声、长度不规则、象征性与抽象性而复杂化。
• 开发一种中层视觉表征，以捕捉 GIF 中的时空情感抽象。
• 建模中层视觉表征与最终情感判断之间的关系。
• 创建并发布一个大规模、手动标注的 GIF 情感数据集（GSO-2015），以支持未来研究。

提出的方法

• 使用 WordNet 构建同义词森林，为视觉情感标签元素定义语义树结构。
• 通过从同义词森林中组合形容词-名词对（ANP）和动词-名词对（VNP）生成 SentiPairs，形成中层情感表征。
• 通过将 SentiPairs 按照 GIF 中的时间发生顺序组织，构建 GIF 情感本体（GSO）。
• 使用众包标注（7 名标注者）从 40,000 个候选 GIF 中对 6,000 多个 GIF 进行情感和 SentiPair 序列的标注。
• 应用基于相关性的特征选择方法，并使用多种分类器（SMO、逻辑回归、随机森林）评估性能。
• 使用 GSO-2015 数据集训练和测试情感分类器，将 SentiPair Sequence 与 ANP 和 VNP 基线模型进行比较。

实验结果

研究问题

• RQ1 如何有效表示 GIF 视频中的高层视觉抽象以实现情感分析？
• RQ2 中层视觉表征与 GIF 中最终情感判断之间存在何种关系？
• RQ3 与原始属性相比，结构化的视觉情感元素本体是否能提升情感预测准确率？
• RQ4 通过 SentiPair Sequence 引入视觉事件的时间顺序，如何增强情感建模？

主要发现

• SentiPair Sequence 实现了 72.6% 的情感预测准确率，优于仅使用 ANP（70.2%）和仅使用 VNP（65.8%）的基线模型。
• SentiPair Sequences 的使用，整合了运动（VNP）和静态属性（ANP），其性能优于单独使用任一类型。
• 通过基于相关性的子集选择进行特征选择，在减少所用中层属性数量的同时保持了高准确率。
• GSO-2015 数据集包含超过 6,000 个手动标注的 GIF，附带情感标签和 SentiPair 序列，已公开发布以支持进一步研究。
• 同义词森林为跨多个语义维度组织视觉情感概念提供了可扩展且语义基础坚实的框架。
• 该框架表明，对视觉情感元素的时间序列进行建模可显著提升在短视频片段中的情感识别性能。