[论文解读] Multimedia stimuli databases usage patterns: a survey report

Marko Horvat, Siniša Popović+1 more|arXiv (Cornell University)|Mar 20, 2013

Advanced Text Analysis Techniques参考文献 11被引用 15

一句话总结

本文通过调查130名情感计算与认知科学领域的研究人员，探究了情感多媒体数据库的使用模式。研究发现，现有数据库在语义和情感内容方面存在普遍不足，73.33%的受访者指出缺少关键的情感或语义属性，84%的受访者希望使用真实生活视频作为刺激材料。研究结论指出，亟需开发智能的、具备语义感知能力的检索系统，以提升情感研究中的实验效率与数据质量。

ABSTRACT

Multimedia documents such as images, sounds or videos can be used to elicit emotional responses in exposed human subjects. These stimuli are stored in affective multimedia databases and successfully used for a wide variety of research in affective computing, human-computer interaction and cognitive sciences. Affective multimedia databases are simple repositories of multimedia documents with annotated high-level semantics and affective content. Although important all affective multimedia databases have numerous deficiencies which impair their applicability. To establish a better understanding of how experts use affective multimedia databases an online survey was conducted into the subject. The survey results are statistically significant and indicate that contemporary databases lack stimuli with rich semantic and emotional content. 73.33% of survey participants find the databases lacking at least some important semantic or emotion content. Most of the participants consider stimuli descriptions to be inadequate. Overall, 1-2h or more than 24h are generally needed to construct a single stimulation sequence. Almost 84% of the survey participants would like to use real-life videos in their research. Experts unequivocally recognize the need for an intelligent stimuli retrieval application that would assist them in experimentation. Almost all experts agree such applications could be useful in their work.

研究动机与目标

• 理解在情感计算与认知科学研究中，情感多媒体数据库当前的使用模式与挑战。
• 识别现有数据库在语义丰富度与情感内容方面的缺陷。
• 评估研究人员在刺激质量、描述充分性以及刺激序列构建时间投入方面的需求。
• 评估在实验设计中对智能刺激检索应用的需求。

提出的方法

• 对130名情感计算、人机交互与认知科学领域的专家进行了在线调查。
• 调查问题聚焦于数据库使用情况、感知缺陷、刺激描述质量、构建刺激序列所需时间，以及对刺激类型的偏好。
• 采用统计方法收集并分析数据，以识别研究人员行为与期望中的显著趋势与模式。
• 调查包含关于未来刺激检索系统理想功能的问题，包括语义与情感内容支持。
• 结果以定量百分比与参与者的定性反馈相结合的方式汇总并报告。
• 研究发现结合情感计算与多媒体研究的更广泛背景进行语境化分析。

实验结果

研究问题

• RQ1 从专家研究人员的视角来看，当前情感多媒体数据库的主要缺陷是什么？
• RQ2 研究人员目前如何花费时间构建刺激序列？哪些因素导致效率低下？
• RQ3 研究人员在多大程度上认为现有刺激的情感与语义内容不足？
• RQ4 研究人员偏好何种类型的刺激（例如真实生活视频）？原因是什么？
• RQ5 情感研究中对智能刺激检索应用的需求有多强烈？

主要发现

• 73.33%的调查参与者表示，现有情感多媒体数据库缺少至少部分重要的语义或情感内容。
• 大多数研究人员认为刺激描述不足以满足实验需求。
• 约84%的参与者希望在其研究中使用真实生活视频刺激。
• 构建单个刺激序列通常需要1–2小时，或超过24小时，表明投入了大量时间。
• 几乎所有专家都认为，智能刺激检索应用在其研究工作流程中将非常有用。
• 本研究证实了对具备语义感知能力、情感智能的数据库检索工具开发存在强烈共识。