[论文解读] Towards a Forensic Event Ontology to Assist Video Surveillance-based Vandalism Detection

Faranak Sobhani, Umberto Straccia|arXiv (Cornell University)|Mar 21, 2019

Video Analysis and Summarization参考文献 27被引用 7

一句话总结

该论文提出了一种基于 OWL 2 的法医事件本体，源自 DOLCE 基础本体，旨在对视频监控中的复杂犯罪事件进行语义表示的标准化。该本体支持使用手工构建和机器学习的逻辑规则，自动分类诸如破坏、暴乱和异常行为等事件，在 2011 年伦敦暴乱的真实 CCTV 画面数据上，对大多数事件类型的召回率（最高达 1.00）和 F1 分数（最高达 1.00）表现优异。

ABSTRACT

The detection and representation of events is a critical element in automated surveillance systems. We present here an ontology for representing complex semantic events to assist video surveillance-based vandalism detection. The ontology contains the definition of a rich and articulated event vocabulary that is aimed at aiding forensic analysis to objectively identify and represent complex events. Our ontology has then been applied in the context of London Riots, which took place in 2011. We report also on the experiments conducted to support the classification of complex criminal events from video data.

研究动机与目标

• 解决视频监控中法医事件表示缺乏标准化、系统化本体的问题。
• 支持不同监控系统之间复杂犯罪事件的互操作性和语义检索。
• 通过逻辑规则，实现从低层级视频注释自动分类高层级犯罪事件。
• 评估手工定义和机器学习的逻辑规则在分类现实世界犯罪事件方面的有效性。
• 为刑事调查中视频数据的法医分析提供可重用、可扩展的框架。

提出的方法

• 本体基于 DOLCE+DnS Ultralite 构建，扩展了 Perdurant（时间性事件）和 Endurant（持续存在的实体）的基础类，以建模与法医相关的事件和对象。
• 采用分层的、基于哲学和语言学的事件词汇表，以确保语义一致性和互操作性。
• 系统使用描述逻辑（DL）规则，特别是通用概念包含（GCIs），将高层级事件定义为低层级事件的组合。
• 手工 GCIs 基于领域专业知识构建，而机器学习的 GCIs 则使用 DL-Learner CELOE 算法在语义标注的视频数据上生成。
• 通过五折交叉验证进行评估，计算每类事件的精确率、召回率和 F1 分数。
• 系统融合手工构建和学习的 GCIs 以评估综合性能，使用推理引擎从本体中推断事件实例。

实验结果

研究问题

• RQ1 基于形式化 OWL 2 的本体能否有效表示视频监控数据中的复杂法医事件？
• RQ2 手工定义的逻辑规则与机器学习的规则在从视频注释中分类高层级犯罪事件方面表现如何比较？
• RQ3 该本体在现实世界监控调查中支持互操作性和语义检索的程度如何？
• RQ4 该系统在真实 CCTV 画面中对破坏、暴乱和异常行为等事件的分类性能如何？
• RQ5 将学习的 GCIs 与手工构建的 GCIs 相结合，是否能提升分类性能，超过单一方法的表现？

主要发现

• 手工构建的 GCIs 在 'Damage Structure' 和 'Throwing' 事件中实现了完美的精确率和召回率（1.00），F1 分数分别为 1.00 和 0.92。
• 'Crowding' 事件实现了 0.96 的精确率和 1.00 的召回率，F1 分数为 0.98。
• 'AbnormalBehavior' 和 'DamageVehicle' 事件表现出较高的召回率（0.99 和 0.98），但精确率中等（0.69），F1 分数分别为 0.81。
• 机器学习的 GCIs 表现与手工构建的 GCIs 相当，微平均 F1 为 0.845，宏平均 F1 为 0.649。
• 使用 DL-Learner 未能学习到 'Vandalism' 和 'Riot' 的 GCIs，这反映在学习方法中 'Riot' 的召回率（0.24）和 F1 分数（0.38）较低。
• 将手工构建和学习的 GCIs 融合后，整体性能未超过仅使用手工 GCIs 的基线，'Riot' 事件的分类性能依然较差。