[论文解读] RGB Arabic Alphabets Sign Language Dataset

Muhammad Al-Barham, Adham Alsharkawi+5 more|arXiv (Cornell University)|Jan 30, 2023

Hand Gesture Recognition Systems被引用 14

一句话总结

本文介绍了 RGB Arabic Alphabet Sign Language (AASL) 数据集，包含 7,857 张标注的阿拉伯文字母手语 RGB 图像，来自 200+ 名参与者，并在 Kaggle 上公开发布。该数据集旨在支持现实场景的阿拉伯手语分类研究，且包含多样的捕捉条件。

ABSTRACT

This paper introduces the RGB Arabic Alphabet Sign Language (AASL) dataset. AASL comprises 7,856 raw and fully labelled RGB images of the Arabic sign language alphabets, which to our best knowledge is the first publicly available RGB dataset. The dataset is aimed to help those interested in developing real-life Arabic sign language classification models. AASL was collected from more than 200 participants and with different settings such as lighting, background, image orientation, image size, and image resolution. Experts in the field supervised, validated and filtered the collected images to ensure a high-quality dataset. AASL is made available to the public on Kaggle.

研究动机与目标

• 提供一个公开可用的阿拉伯手语字母 RGB 数据集。
• 通过专家验证与筛选确保数据集质量。
• 在光照、背景、方向、尺寸和分辨率方面捕捉多样性，以支持鲁棒模型。
• 支持现实场景的阿拉伯手语分类系统的开发。

提出的方法

• 在专家监督下收集静态 ArSL 字母的真实图像。
• 参与者通过在线表单提交跨五类字母的图像。
• 图像由两名研究人员手动标注并验证，随后进行最终的双重核对验证。
• 在验证后，图像使用简单脚本自动标注为 AlphabetName_ID。
• 数据收集自 2022 年 3 月起，历时五个月，使用多样的相机和条件进行。

Figure 1: Sample from the dataset.

实验结果

研究问题

• RQ1 RGB AASL 数据集的规模与结构是多少，捕获条件的多样性如何？
• RQ2 该数据集是否适合用于训练和评估阿拉伯手语字母分类模型？
• RQ3 跨提交图像的真实标签有多可靠和经过怎样的验证。

主要发现

• RGB AASL 数据集包含 7,857 张标注的阿拉伯手语字母图像。
• 图像来自超过 200 名参与者，使用各种相机和设置收集。
• 数据集被组织成 31 个文件夹，每个代表一个字母（按字母不同，字母特定的图像也有所不同）。
• 专家对图像进行了监督、验证和筛选，以在最终标注前确保高质量。
• 该数据集在 Kaggle 上以 CC BY-NC-SA 4.0 公布，被描述为首个公开获得高分辨率 RGB 阿拉伯手语数据集。

Figure 2: Geem ArSL alphabet.