[论文解读] Techniques for effective and efficient fire detection from social media images

Marcos Bedo, Gustavo Blanco+6 more|arXiv (Cornell University)|Jun 11, 2015

Fire Detection and Safety Systems参考文献 15被引用 7

一句话总结

本文提出FFireDt，一种基于内容的图像检索技术，用于在社交媒体图像中实现可扩展且高精度的火灾检测系统。在Flickr-Fire数据集上评估了36种图像描述符组合，发现Color Structure与City-Block或Euclidean距离结合可达到85%的F-measure，与人工标注者表现相当，因此成为实时危机监测的最优选择。

ABSTRACT

Social media could provide valuable information to support decision making in crisis management, such as in accidents, explosions and fires. However, much of the data from social media are images, which are uploaded in a rate that makes it impossible for human beings to analyze them. Despite the many works on image analysis, there are no fire detection studies on social media. To fill this gap, we propose the use and evaluation of a broad set of content-based image retrieval and classification techniques for fire detection. Our main contributions are: (i) the development of the Fast-Fire Detection method (FFDnR), which combines feature extractor and evaluation functions to support instance-based learning, (ii) the construction of an annotated set of images with ground-truth depicting fire occurrences -- the FlickrFire dataset, and (iii) the evaluation of 36 efficient image descriptors for fire detection. Using real data from Flickr, our results showed that FFDnR was able to achieve a precision for fire detection comparable to that of human annotators. Therefore, our work shall provide a solid basis for further developments on monitoring images from social media.

研究动机与目标

• 解决危机期间社交媒体图像中自动化火灾检测的缺失问题。
• 开发一种可扩展、高精度的架构，用于图像流中的实时火灾检测。
• 构建高质量、人工标注的数据集作为火灾检测评估的基准。
• 系统性评估36种图像描述符组合（特征提取器与评估函数）在火灾检测中的表现。
• 识别最适合部署于应急响应系统的高效且有效的描述符对。

提出的方法

• 提出FFireDt架构，一种基于实例学习的框架，结合特征提取器与评估函数，用于基于内容的图像检索。
• 构建Flickr-Fire数据集，包含从Flickr获取的2,000张真实、人工标注的图像，标注为火灾或非火灾。
• 评估36种MPEG-7特征提取器（如Color Structure、Scalable Color、Edge Histogram）与六种评估函数（如Euclidean、City-Block、Jeffrey Divergence）的组合。
• 使用F-measure、精确率-召回率曲线和ROC曲线评估准确性，使用运行时间衡量效率。
• 基于精确率与处理时间之间的权衡，选择最优的描述符对。
• 在真实世界图像数据上实现并基准测试系统，以验证其在危机监测场景下的性能。

实验结果

研究问题

• RQ1 哪些图像描述符组合（特征提取器与评估函数）在社交媒体图像中检测火灾时能达到最高精确率？
• RQ2 不同特征提取器——尤其是基于颜色与基于纹理的——在火灾检测任务中的表现如何？
• RQ3 各种评估函数在检测准确率与计算效率之间的权衡如何？
• RQ4 自动化系统是否能在真实社交媒体图像上实现与人工标注者相当的火灾检测精确率？
• RQ5 哪些描述符对在实时部署中实现了功效（F-measure）与效率（运行时间）的最佳平衡？

主要发现

• Color Structure与City-Block距离的组合实现了0.866的F-measure，为所有评估组合中的最高值。
• Scalable Color与Euclidean距离的组合实现了0.821的F-measure，且是处理速度最快的描述符对。
• 基于颜色的提取器（Color Structure、Scalable Color）优于基于纹理的提取器（Edge Histogram、Texture Browsing），后者表现出较低的精确率。
• Jeffrey Divergence提供了最高的精确率，但处理最慢，因此不适合实时应用。
• City-Block与Euclidean距离在高精确率（高于0.84）与低计算成本之间提供了最佳平衡。
• FFireDt系统实现了85%的F-measure，表明其在Flickr-Fire数据集上的精确率与人工标注者相当。