[论文解读] The 2021 Hotel-ID to Combat Human Trafficking Competition Dataset

Rashmi Kamath, Gregory Rolwes+2 more|arXiv (Cornell University)|Jun 10, 2021

Sex work and related issues参考文献 12被引用 5

一句话总结

本文介绍了2021年Hotel-ID数据集，这是一个大规模、真实世界的数据集，用于在人口贩卖调查背景下进行细粒度视觉识别。该数据集提出了一个挑战：从通过TraffickCam移动应用收集的低质量、被遮挡及多角度拍摄的图像中识别酒店。基于分类的方法取得了当前最优性能（R@1: 49.3%），而度量学习方法则展现出在开放世界部署中更好的泛化潜力。

ABSTRACT

Hotel recognition is an important task for human trafficking investigations since victims are often photographed in hotel rooms. Identifying these hotels is vital to trafficking investigations since they can help track down current and future victims who might be taken to the same places. Hotel recognition is a challenging fine grained visual classification task as there can be little similarity between different rooms within the same hotel, and high similarity between rooms from different hotels (especially if they are from the same chain). Hotel recognition to combat human trafficking poses additional challenges as investigative images are often low quality, contain uncommon camera angles and are highly occluded. Here, we present the 2021 Hotel-ID dataset to help raise awareness for this problem and generate novel approaches. The dataset consists of hotel room images that have been crowd-sourced and uploaded through the TraffickCam mobile application. The quality of these images is similar to investigative images and hence models trained on these images have good chances of accurately narrowing down on the correct hotel.

研究动机与目标

• 为解决在人口贩卖调查中准确识别酒店的迫切需求，因为受害者通常在酒店房间内被拍摄。
• 提供一个真实、大规模的基准，用于在真实世界约束（如图像质量低、遮挡、相机角度多变）下的细粒度视觉识别。
• 提高公众意识，并激发在社会公益领域（特别是打击人口贩卖）的视觉识别创新研究。
• 开发一个数据集和竞赛，支持高精度分类与可扩展、可泛化的检索方法，以应对新酒店的识别。

提出的方法

• 该数据集由通过TraffickCam移动应用程序上传的众包图像构建，捕捉了全球旅行者拍摄的真实酒店房间。
• 训练集包含来自86家酒店连锁的7,770家独特酒店的97,527张图像，图像反映了真实世界中光照、构图和遮挡的多样性。
• 测试集包含12,400张图像，来自训练集中已有的酒店，由不同用户和设备拍摄，以模拟真实世界部署场景。
• 基线模型通过分类（交叉熵损失）和度量学习（SCT、EPHN、Batch-All）两种方法进行评估，以比较性能与泛化能力。
• 评估使用标准检索指标：召回率@K（K=1, 10, 100）和平均精度均值@5（MAP@5），结果报告于测试集上。
• 系统设计包含伦理保障措施，仅向国家失踪与被 exploited 儿童中心开放访问，并最大限度减少数据暴露，以降低滥用风险。

实验结果

研究问题

• RQ1 在真实世界低质量酒店图像上进行训练的深度学习模型，能否在测试图像中准确识别出正确的酒店？
• RQ2 与基于分类的模型相比，基于度量学习的模型在性能和泛化到未见酒店方面表现如何？
• RQ3 同一连锁品牌下不同酒店房间之间的视觉相似性在多大程度上会阻碍或促进识别，特别是当同一连锁中不同酒店的房间视觉上更为相似时？
• RQ4 在训练过程中未见过的新酒店中，该数据集上的模型能否泛化，特别是在拥有数十万潜在酒店类别的现实部署环境中？
• RQ5 部署酒店识别系统具有哪些伦理影响？如何通过措施减轻其对弱势群体的滥用风险？

主要发现

• 基于交叉熵损失的分类方法取得了最高性能，召回率@1达到49.3%，显著优于所有度量学习基线方法。
• 如SCT（选择性对比训练）等度量学习方法在召回率@1上达到36.04%，展现出在开放世界设置中泛化到新酒店的强劲潜力。
• 分类模型在平均精度均值@5（MAP@5）上达到55.1%，表明尽管任务具有高度细粒度，其前五名检索性能依然出色。
• 即使在高遮挡或异常相机角度的挑战性情况下，分类模型仍能成功找到相关匹配项，包括来自同一连锁中不同酒店的几乎完全相同的房间。
• 定性分析表明，SCT等度量学习方法对特定视觉线索（如地毯或置物架）更敏感，而分类模型整体上更具鲁棒性。
• 本研究揭示了在已知酒店上实现高精度与在新酒店上实现可扩展性之间的权衡，其中度量学习方法更适合真实世界部署。