[论文解读] RISE Video Dataset: Recognizing Industrial Smoke Emissions

Yen-Chia Hsu, Ting-Hao Huang+7 more|arXiv (Cornell University)|May 13, 2020

Fire Detection and Safety Systems参考文献 44被引用 2

一句话总结

RISE 是一个大规模视频数据集，包含来自三个工业设施的19个摄像头视角在两年内跨越四个季节、连续30天拍摄的12,567段白天视频片段，通过公民科学方法对烟雾排放进行标注。该数据集可支持训练鲁棒的计算机视觉模型以检测工业烟雾排放，深度学习基线模型与社区反馈揭示了人工智能在环境正义应用中的关键挑战与机遇。

ABSTRACT

Industrial smoke emissions pose a significant concern to human health. Prior works have shown that using Computer Vision (CV) techniques to identify smoke as visual evidence can influence the attitude of regulators and empower citizens to pursue environmental justice. However, existing datasets are not of sufficient quality nor quantity to train the robust CV models needed to support air quality advocacy. We introduce RISE, the first large-scale video dataset for Recognizing Industrial Smoke Emissions. We adopted a citizen science approach to collaborate with local community members to annotate whether a video clip has smoke emissions. Our dataset contains 12,567 clips from 19 distinct views from cameras that monitored three industrial facilities. These daytime clips span 30 days over two years, including all four seasons. We ran experiments using deep neural networks to establish a strong performance baseline and reveal smoke recognition challenges. Our survey study discussed community feedback, and our data analysis displayed opportunities for integrating citizen scientists and crowd workers into the application of Artificial Intelligence for Social Impact.

研究动机与目标

• 为解决缺乏高质量、大规模视频数据集以识别工业烟雾排放的问题。
• 开发一种可扩展的、基于社区的环境监测数据收集与标注方法。
• 基于真实世界工业烟雾数据集，使用深度神经网络建立性能基线。
• 探索将公民科学家与众包工作者整合到人工智能社会影响应用中的方式。
• 识别在使用真实世界视频数据部署人工智能进行环境倡导时面临的挑战与机遇。

提出的方法

• 采用公民科学框架，邀请当地社区成员对视频片段中是否存在烟雾排放进行标注。
• 从19个不同摄像头视角收集了12,567段视频片段，用于监测三年工业设施，持续30天，跨越两年。
• 数据采集覆盖所有四个季节，确保时间多样性，并体现真实世界中光照与天气条件的变化。
• 在 RISE 数据集上训练深度神经网络，以建立烟雾识别的性能基线。
• 开展调查以收集社区成员对标注流程及人工智能在环境监测中应用的看法。
• 进行数据分析，以评估模型性能，并识别在真实世界条件下烟雾检测所面临的挑战。

实验结果

研究问题

• RQ1 在使用大规模真实世界视频数据集时，深度神经网络在识别工业烟雾排放方面的有效性如何？
• RQ2 真实世界视频条件（如光照、天气、季节变化）对烟雾检测模型构成哪些挑战？
• RQ3 如何有效利用公民科学方法收集并标注用于人工智能应用的环境视频数据？
• RQ4 社区成员对参与基于人工智能的环境监测有何看法与体验？
• RQ5 在社会影响倡议中，将众包工作者与公民科学家整合进人工智能应用存在哪些机遇？

主要发现

• RISE 数据集包含来自19个摄像头视角的12,567段高质量视频片段，数据采集覆盖两年内30天及所有四个季节。
• 深度神经网络在 RISE 数据集上表现出色，为未来烟雾识别模型建立了可靠的基线。
• 数据集中存在的季节性与光照变化对烟雾检测构成显著挑战，凸显了对鲁棒泛化能力的需求。
• 调查反馈显示，社区成员对公民科学方法表现出高度参与度与信任，支持其在环境监测中的可扩展性。
• 将公民科学家与众包工作者整合，揭示了在环境正义领域实现可持续、社区驱动的人工智能应用的可行路径。
• 数据分析表明，真实世界视频的复杂性（包括背景运动与天气影响）显著影响模型准确率，需针对性地改进模型。