[论文解读] Video Trajectory Classification and Anomaly Detection Using Hybrid CNN-VAE

Santhosh Kelathodi Kumaran, Debi Prosad Dogra+2 more|arXiv (Cornell University)|Dec 18, 2018

Anomaly Detection Techniques and Applications参考文献 9被引用 11

一句话总结

本文提出一种用于交通监控中视频轨迹分类与异常检测的混合CNN-VAE架构，采用颜色梯度表示法编码时间特征，实现已知与未知异常检测。该方法通过利用半监督轨迹标注、t-SNE进行异常样本分离，并在可变长度轨迹上进行端到端深度学习，实现了比现有方法更高的准确率。

ABSTRACT

Classifying time series data using neural networks is a challenging problem when the length of the data varies. Video object trajectories, which are key to many of the visual surveillance applications, are often found to be of varying length. If such trajectories are used to understand the behavior (normal or anomalous) of moving objects, they need to be represented correctly. In this paper, we propose video object trajectory classification and anomaly detection using a hybrid Convolutional Neural Network (CNN) and Variational Autoencoder (VAE) architecture. First, we introduce a high level representation of object trajectories using color gradient form. In the next stage, a semi-supervised way to annotate moving object trajectories extracted using Temporal Unknown Incremental Clustering (TUIC), has been applied for trajectory class labeling. Anomalous trajectories are separated using t-Distributed Stochastic Neighbor Embedding (t-SNE). Finally, a hybrid CNN-VAE architecture has been used for trajectory classification and anomaly detection. The results obtained using publicly available surveillance video datasets reveal that the proposed method can successfully identify some of the important traffic anomalies such as vehicles not following lane driving, sudden speed variations, abrupt termination of vehicle movement, and vehicles moving in wrong directions. The proposed method is able to detect above anomalies at higher accuracy as compared to existing anomaly detection methods.

研究动机与目标

• 解决从监控视频中对可变长度视频目标轨迹进行分类与异常检测的挑战。
• 通过使用捕捉运动动态的颜色梯度表示法编码时间特征，提升异常检测的准确率。
• 实现对已知异常（如逆向行驶）和未知异常（如突然停车）在交通场景中的检测。
• 通过上下文建模和鲁棒的重建损失，减少高密度交通条件下的误报率。
• 开发一种半监督框架，结合TUIC追踪与深度学习，实现可扩展的轨迹标注。

提出的方法

• 使用颜色梯度形式表示轨迹，以编码时间演化过程，保留可变长度下的运动模式。
• 通过TUIC提取轨迹，随后利用mDPMM进行半监督标注，识别正常路径。
• 应用t-SNE在嵌入空间中可视化并分离异常轨迹与正常轨迹。
• 端到端训练混合CNN-VAE架构：CNN从颜色梯度图像中提取空间特征，VAE学习潜在表示以实现重建与异常评分。
• 通过重建损失（KLD + 似然）执行异常检测，阈值基于正常轨迹收敛后的损失值设定。
• 通过分析重建误差实现异常定位，并整合上下文线索（如信号灯状态）以检测依赖上下文的异常。

实验结果

研究问题

• RQ1 颜色梯度表示能否有效编码可变长度视频轨迹中的时间特征，以支持基于深度学习的分类？
• RQ2 半监督聚类与t-SNE在提升监控数据中正常与异常轨迹分离效果方面有何作用？
• RQ3 混合CNN-VAE模型在检测已知与未知交通异常方面，相较于基于重建的方法，优势有多大？
• RQ4 该模型能否检测到如绿灯时违规左转等上下文异常，而传统方法无法识别？
• RQ5 所提方法在高密度交通场景中，特别是信号灯切换期间，如何处理误报问题？

主要发现

• 所提方法在检测车道违规、逆向行驶、突然停车及速度变化等关键交通异常方面，准确率高于现有基于重建的方法。
• 与稀疏重建[19]和时空自编码器[5]相比，混合CNN-VAE模型在密集交通中表现出更低的误报率。
• 系统成功识别出上下文异常，如仅允许直行时车辆在绿灯期间左转，而其他方法未能识别。
• 未知异常通过VAE重建损失检测，而已知异常则通过CNN头实现高精度定位与分类。
• 该方法在异常定位方面表现更优，检测可在轨迹生成后立即触发，优于基于序列或基于帧的方法。
• 基于收敛的KLD与似然损失的阈值设定，提供了一种鲁棒、数据驱动的异常检测准则，且超参数调优需求极少。