[论文解读] Technical Report of the Video Event Reconstruction and Analysis (VERA) System -- Shooter Localization, Models, Interface, and Beyond

Junwei Liang, Jay D. Aronson+1 more|arXiv (Cornell University)|May 26, 2019

Video Analysis and Summarization参考文献 25被引用 5

一句话总结

VERA 是一种结合机器学习与物理模型的系统，能够从缺乏元数据的非结构化社交媒体视频中实现射击者定位。通过视频同步、利用音频信号检测枪声，并应用超音速子弹与声波传播的物理模型，VERA 仅使用三段视频和最初的几声枪响，便准确地定位了2017年拉斯维加斯枪击案中的射击者。

ABSTRACT

Every minute, hundreds of hours of video are uploaded to social media sites and the Internet from around the world. This material creates a visual record of the experiences of a significant percentage of humanity and can help illuminate how we live in the present moment. When properly analyzed, this video can also help analysts to reconstruct events of interest, including war crimes, human rights violations, and terrorist acts. Machine learning and computer vision can play a crucial role in this process. In this technical report, we describe the Video Event Reconstruction and Analysis (VERA) system. This new tool brings together a variety of capabilities we have developed over the past few years (including video synchronization and geolocation to order unstructured videos lacking metadata over time and space, and sound recognition algorithms) to enable the reconstruction and analysis of events captured on video. Among other uses, VERA enables the localization of a shooter from just a few videos that include the sound of gunshots. To demonstrate the efficacy of this suite of tools, we present the results of estimating the shooter's location of the Las Vegas Shooting in 2017 and show that VERA accurately predicts the shooter's location using only the first few gunshots. We then point out future directions that can help improve the system and further reduce unnecessary human labor in the process. All of the components of VERA run through a web interface that enables human-in-the-loop verification to ensure accurate estimations. All relevant source code, including the web interface and machine learning models, is freely available on Github. We hope that researchers and software developers will be inspired to improve and expand this system moving forward to better meet the needs of human rights and public safety.

研究动机与目标

• 解决从缺乏元数据的非结构化社交媒体视频中重建现实事件的挑战。
• 即使视频资料缺少时间或GPS元数据，也能在大规模枪击事件等场景中实现精确的射击者定位。
• 通过整合自动化的视频同步、枪声检测与基于物理的定位技术，减少对人工分析的依赖。
• 通过可扩展的开源工具与人工参与验证机制，支持人权调查与公共安全工作。
• 提供一个生产就绪的基于网页的系统，结合机器学习、音频处理与地理空间建模技术，实现事件重建。

提出的方法

• 利用半自动视频同步技术，通过视觉与音频线索将非结构化视频对齐至全局时间轴。
• 应用基于机器学习的枪声检测方法，识别音频片段中的枪口爆破声与激波声。
• 采用超音速子弹物理模型，估算多个摄像机位置处声波到达的时间差。
• 利用枪声各成分（枪口爆破与激波）的到达时间差，通过双曲线三边测量法三角定位可能的射击者位置。
• 通过热力图与双曲线置信区域在地图上可视化潜在的射击者位置，并支持用户编辑摄像机位置标记。
• 集成网页界面，通过PHP前端与Python后端之间的安全加密通信，实现实时处理与进度更新。

实验结果

研究问题

• RQ1 在缺乏元数据的情况下，能否有效同步并时间对齐非结构化的社交媒体视频？
• RQ2 在公共视频中低质量、高噪声的音频中，枪声事件的检测与时间定位精度如何？
• RQ3 基于超音速子弹与声波传播的物理模型，在仅依赖音频线索的情况下，能在多大程度上提升射击者定位的准确性？
• RQ4 人工参与的系统能否在用户输入极少的情况下减少错误并提高现实事件重建的可靠性？
• RQ5 如何设计一个可扩展的开源系统，以最小的基础设施开销支持人权与公共安全应用？

主要发现

• VERA 仅使用三段公开可获取的视频与最初的几声枪响，成功定位了2017年拉斯维加斯枪击案中的射击者。
• 系统基于音频信号飞行时间差估算的射击者位置，与实际位置高度吻合——即曼德勒海湾酒店的北翼。
• 多段视频生成的热力图与双曲线三边测量可视化结果汇聚于真实射击者位置，显示出极高的空间精度。
• 系统在元数据极少的情况下实现准确结果，完全依赖音频信号处理与物理模型。
• 网页界面支持高效的“人工参与验证”流程，用户可修正摄像机位置，提升定位置信度。
• 所有源代码、模型与网页界面均已公开发布于GitHub，支持社区扩展与改进，适用于人权与公共安全相关应用场景。