[论文解读] Security Camera Movie and ERP Data Matching System to Prevent Theft

Yoji Yamato, Yoshifumi Fukumoto+1 more|arXiv (Cornell University)|Jun 12, 2017

Advanced Malware Detection Techniques被引用 5

一句话总结

该论文提出了一种低成本的基于SaaS的小型零售店盗窃预防系统，结合使用在线机器学习（Jubatus）进行实时安防摄像头视频分析与ERP库存数据校验。通过特征提取和异常评分检测异常顾客行为，并与ERP实时库存差异交叉验证，系统降低了误报率并提高了检测准确率，在姿态异常检测中通过k折验证实现了72%的精确率。

ABSTRACT

"(c) 2017 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works." In this paper, we propose a SaaS service which prevents shoplifting using image analysis and ERP. In Japan, total damage of shoplifting reaches 450 billion yen. Based on cloud and data analysis technology, we propose a shoplifting prevention service with image analysis of security camera and ERP data check for small shops. We evaluated movie analysis. Y. Yamato, Y. Fukumoto and H. Kumazaki, "Security Camera Movie and ERP Data Matching System to Prevent Theft," IEEE Consumer Communications and Networking Conference (CCNC 2017), pp.1021-1022, DOI: 10.1109/CCNC.2017.7983275, Jan. 2017.

研究动机与目标

• 解决日本小型零售店现有盗窃检测系统成本高且可扩展性差的问题。
• 通过利用云服务和数据分析实现低成本自动化检测，减少每年约4500亿日元的盗窃损失。
• 通过引入机器学习和ERP库存校验，提升检测准确率，超越预设行为规则的局限。
• 通过结合视频分析与实时库存检查，减少误报和员工操作负担。
• 开发一种可扩展、低门槛的SaaS解决方案，可在小型零售环境中部署于低功耗设备（如Raspberry Pi）上。

提出的方法

• 在店内部署小型计算机（如Raspberry Pi），实时流式传输并处理安防摄像头视频。
• 使用dlib和OpenCV从图像中提取136个归一化的面部关键点特征（68个坐标 × 2个轴），用于姿态与行为分析。
• 通过Jubatus实现在线机器学习，采用线性分类器和k近邻分类器，检测未被静态规则定义的异常顾客行为。
• 将检测到的异常和图像数据传输至基于云的盗窃预防应用程序进行交叉验证。
• 通过对比摄像头图像估算的店内库存与实时ERP库存数据（物品数据库），验证检测到的事件是否一致，以发现异常。
• 当ERP库存差异表明存在较高盗窃可能性时，通过电子邮件向员工智能手机发送嫌疑人员图像和警报。

实验结果

研究问题

• RQ1 在线机器学习（Jubatus）能否在可接受的精确度下有效检测零售监控视频中未定义或异常的顾客行为？
• RQ2 与仅依赖视频分析相比，通过ERP库存数据进行交叉验证在多大程度上提升了盗窃检测的准确性？
• RQ3 基于边缘设备与云协同的低成本SaaS系统是否可在小型零售环境中实现实际部署与维护？
• RQ4 在真实环境中，使用面部关键点特征的姿态异常检测在不同分类模型（如kNN与线性分类器）下的精确度如何比较？
• RQ5 实时ERP数据校验在减少误报和降低零售员工操作负担方面发挥何种作用？

主要发现

• 通过k=10的k折交叉验证，系统在基于姿态的异常检测中实现了72%的精确率，表明其在实时视频分析中具有中等但可行的准确度。
• 将ERP库存数据与视频分析结合，显著提升了检测的可靠性，通过实际库存水平验证异常行为。
• Jubatus通过在线学习实现了对非预定义可疑行为的检测，克服了Saburo-kun Ace等基于规则系统存在的局限性。
• 使用轻量级边缘设备（如Raspberry Pi）并配合基于云的模型分发与配置更新，实现了可扩展且可维护的SaaS部署。
• 通过ERP数据一致性检查过滤基于视频的检测结果，系统有效减少了误报，降低了不必要的员工干预。
• 该架构支持空中配置更新与自动化回归测试，确保了在生产环境中长期的可维护性与可靠性。