[论文解读] NumtaDB - Assembled Bengali Handwritten Digits

Samiul Alam, Tahsin Reasat+2 more|arXiv (Cornell University)|Jan 1, 2018

Handwritten Text Recognition Techniques参考文献 15被引用 16

一句话总结

本文介绍了NumtaDB，一个大规模、公开可用的数据集，包含85,596个手写孟加拉数字，数据源自孟加拉国六个不同来源，涵盖公立大学学生及教育机构儿童。该数据集经过多阶段人工验证与标准化预处理，确保高可读性及在年龄、性别和地域上的均衡分布，从而实现对孟加拉手写数字识别系统的稳健基准测试，且偏差极小。

ABSTRACT

To benchmark Bengali digit recognition algorithms, a large publicly available dataset is required which is free from biases originating from geographical location, gender, and age. With this aim in mind, NumtaDB, a dataset consisting of more than 85,000 images of hand-written Bengali digits, has been assembled. This paper documents the collection and curation process of numerals along with the salient statistics of the dataset.

研究动机与目标

• 解决孟加拉手写数字识别（HWDR）领域缺乏大规模、公开可用且无偏见数据集的问题。
• 通过确保在年龄、性别和地理来源方面的多样化表示，减少训练和评估数据中的偏差。
• 从多个现有来源整合并整理一个标准化的开源数据集，实施一致的质量控制。
• 通过多阶段人工验证和异常值剔除，确保高可读性及准确的真值标签。
• 提供一个基准数据集，支持在多种书写风格下对孟加拉HWDR算法进行可靠评估。

提出的方法

• 从六个不同来源收集数字图像：BHDDB、B101DB、OngkoDB、DUISRT、BanglaLekha-Isolated 和 UIUDB，涵盖多个机构和不同采集时期。
• 使用基于标记的图像对齐方法，结合角标标记与几何变换，从网格扫描图像中提取数字，通过斑点检测和形状标准（圆形度与偏心率）识别标记中心。
• 对无标记表单（OngkoDB）采用SURF特征匹配与方形检测方法，将扫描图像对齐至参考模板后进行数字提取。
• 在对齐图像中沿X轴和Y轴应用一维求和与峰值检测，以定位网格线并提取单个数字的边界框。
• 实施多阶段人工验证流程：按数字分组、两名评审员盲审、通过奇偶数字分离方式重新检查，最后进行异常值快速筛查。
• 应用严格的可读性标准：剔除存在涂改、笔画不完整、网格线侵入或视觉模糊的数字，仅保留可明确识别的数字。

实验结果

研究问题

• RQ1 能否从多样化的现有来源中，以最小的人口统计偏差，构建一个大规模、公开可用的孟加拉手写数字数据集？
• RQ2 多阶段人工清洗流程在剔除不可读、模糊或损坏的数字样本的同时，能否有效保留书写风格多样性？
• RQ3 与单一来源数据集相比，整合来自不同机构和年龄群体的数据集在多大程度上提升了孟加拉HWDR模型的鲁棒性？
• RQ4 在缺乏标记的情况下，是否能通过几何约束与基于特征的对齐方法可靠地实现扫描表单中的自动数字提取？
• RQ5 包含儿童及不同地区贡献者样本，是否能增强HWDR系统在实际应用中的泛化能力？

主要发现

• 经过剔除13,552个不可读或损坏的样本后，最终的NumtaDB数据集包含85,596张高质量、人工验证的手写孟加拉数字图像。
• 数据集来自超过2,700名不同年龄（6–28岁）、性别和地理区域的个体，显著降低了人口统计偏差。
• 训练集包含72,044个数字（占总数的84.2%），测试集包含13,552个数字（占总数的15.8%），所有数据集（除UIUDB外）均严格采用85%-15%的划分。
• 由于UIUDB源自手机照片和绘图应用，具有独特的真实世界来源，因此其全部样本保留在测试集中，以确保测试数据的多样性。
• 引入BanglaLekha-Isolated数据集——该数据集来自儿童，且经过去噪和长宽比归一化预处理——增强了数据集对年轻写作者的代表性。
• 最终数据集在所有10个类别（0–9）中保持均衡的数字分布，训练集与测试集在每个数字类别中均保留了近似相等的样本数量。