[论文解读] Wake Vision: A Tailored Dataset and Benchmark Suite for TinyML Computer Vision Applications

Colby Banbury, Emil Njor+8 more|arXiv (Cornell University)|May 1, 2024

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文介绍了 Wake Vision，这是一个包含超过 600 万张图像的大规模、多样化数据集，用于 TinyML 人员检测，其规模是先前基准的 100 倍。该数据集包含一个细粒度的基准测试套件，用于评估模型在光照、距离和人口统计因素下的性能表现，结果表明输入分辨率对远距离检测的影响大于模型宽度，且 int8 量化对模型鲁棒性的影响可忽略不计，从而推动实现更可靠、更注重隐私保护的 TinyML 模型。

ABSTRACT

Tiny machine learning (TinyML) for low-power devices lacks systematic methodologies for creating large, high-quality datasets suitable for production-grade systems. We present a novel automated pipeline for generating binary classification datasets that addresses this critical gap through several algorithmic innovations: intelligent multi-source label fusion, confidence-aware filtering, automated label correction, and systematic fine-grained benchmark generation. Crucially, automation is not merely convenient but necessary to cope with TinyML's diverse applications. TinyML requires bespoke datasets tailored to specific deployment constraints and use cases, making manual approaches prohibitively expensive and impractical for widespread adoption. Using our pipeline, we create Wake Vision, a large-scale binary classification dataset of almost 6 million images that demonstrates our methodology through person detection--the canonical vision task for TinyML. Wake Vision achieves up to a 6.6% accuracy improvement over existing datasets via a carefully designed two-stage training strategy and provides 100x more images. We demonstrate our broad applicability for automated large-scale TinyML dataset generation across two additional target categories, and show our label error rates are substantially lower than prior work. Our comprehensive fine-grained benchmark suite evaluates model robustness across five critical dimensions, revealing failure modes masked by aggregate metrics. To ensure continuous improvement, we establish ongoing community engagement through competitions hosted by the Edge AI Foundation. All datasets, benchmarks, and code are available under CC-BY 4.0 license, providing a systematic foundation for advancing TinyML research.

研究动机与目标

• 为解决 TinyML 领域缺乏大规模、高质量数据集的问题，创建一个可扩展的、宽松许可的现有基准替代方案。
• 通过引入针对低光照、远距离和人口统计差异等挑战性条件的细粒度基准，提升模型在真实场景部署中的鲁棒性与公平性。
• 评估常见 TinyML 优化技术（如量化和灰度输入）对多样化数据子集上模型性能的影响。
• 通过支持高准确率与最小数据泄露的设备端推理，实现更可靠、更注重隐私保护的 TinyML 系统。

提出的方法

• Wake Vision 数据集源自 Open Images v7，经过质量筛选并扩展至超过 600 万张图像，包含两种训练变体：'Large'（最大化规模）和 'Quality'（最大化标签准确性）。
• 构建了一个包含五个细粒度测试集的基准测试套件，每个测试集聚焦于特定条件：距离、光照（昏暗、正常、明亮）、人口统计属性（感知年龄与性别）以及图像表现风格。
• 使用标准 TinyML 流程在数据集上训练并评估模型，包括 MobileNetV2 和 int8 量化，性能通过所有基准测试的 F1 分数进行衡量。
• 通过案例研究评估输入分辨率、模型宽度和灰度转换对模型鲁棒性的影响，特别是在具有挑战性的场景中。
• 数据集与基准测试套件以 CC-BY 4.0 许可发布，支持商业与科研用途，并确保完全可复现性。

(a) An example of a person far away

实验结果

研究问题

• RQ1 将数据集规模从约 6 万张图像扩大至超过 600 万张图像，对 TinyML 模型在人员检测任务中的准确率有何影响？
• RQ2 细粒度基准在多大程度上揭示了在低光照或远距离目标等真实条件下模型性能的差异？
• RQ3 int8 量化在代表性不足的人口统计与环境子集上对模型鲁棒性的影响如何？
• RQ4 在明亮光照条件下，灰度输入是否会显著降低模型性能，且这种影响在不同光照基准中是否有所差异？

主要发现

• 与先前的 SOTA 基准 VWW 相比，Wake Vision 将模型准确率提升了 2.41%，证明了数据规模与质量的双重优势。
• 输入分辨率对远距离目标检测的影响大于模型宽度，凸显了 TinyML 中关键的设计权衡。
• int8 量化在所有基准测试中仅导致可忽略的性能下降（±0.004 F1），表明其在复杂条件下的鲁棒性。
• 灰度输入增加了对明亮光照条件的敏感性，模型在 '明亮' 光照基准中的性能下降幅度大于 RGB 输入。
• 'Quality' 训练集的表现优于 'Large' 训练集，表明在 TinyML 中，数据质量比单纯的数据量更为关键。

(b) An example of a depicted person