[论文解读] Towards A Fairer Landmark Recognition Dataset

Zu Kim, André Araujo+6 more|arXiv (Cornell University)|Aug 19, 2021

Advanced Image and Video Retrieval Techniques参考文献 6被引用 4

一句话总结

本文通过基于分层抽样的匿名谷歌地图用户贡献数据估算地标相关性，并结合全球人口统计数据进行调整，提出了一种更公平的地标识别数据集，以减少计算机视觉数据集中存在的地理与社会经济偏差。与先前的GLDv2等数据集相比，该数据集在非洲、印度和中东等代表性不足区域的代表性显著提升，这一结果已在2021年谷歌地标挑战赛的基准评估中得到验证。

ABSTRACT

We introduce a new landmark recognition dataset, which is created with a focus on fair worldwide representation. While previous work proposes to collect as many images as possible from web repositories, we instead argue that such approaches can lead to biased data. To create a more comprehensive and equitable dataset, we start by defining the fair relevance of a landmark to the world population. These relevances are estimated by combining anonymized Google Maps user contribution statistics with the contributors' demographic information. We present a stratification approach and analysis which leads to a much fairer coverage of the world, compared to existing datasets. The resulting datasets are used to evaluate computer vision models as part of the the Google Landmark Recognition and RetrievalChallenges 2021.

研究动机与目标

• 解决从网络资源库收集的现有地标识别数据集中存在的地理与社会经济偏差问题。
• 提升非洲、印度和中东等代表性不足地区在地标数据集中的代表性。
• 提出一种结合用户贡献统计数据与全球人口统计数据的方法，以估算更公平的地标相关性。
• 为2021年谷歌地标识别与检索挑战赛构建评估数据集，实现更均衡的全球覆盖。
• 提供基线评估结果，作为未来公平地标识别模型开发的参考基准。

提出的方法

• 基于两个维度定义公平的地标相关性：个人实用性与旅游吸引力，以反映全球人口的相关性。
• 使用匿名化并聚合的谷歌地图用户贡献数据（如图像上传、评分）作为地标受欢迎程度的代理指标。
• 应用分层抽样方法，通过建模 $ P(c) = \sum_h P(c|h)P(h) $ 来校正贡献者中的种族人口结构失衡，其中 $ h $ 代表人口群体。
• 利用全球人口统计数据（如性别、国家、年龄）估算 $ P(h) $，以纠正某些群体的过度或不足代表问题。
• 通过 $ P(c|h) = A_{c,h}/A_h $ 计算50,000个地标的相关性得分，其中 $ A_{c,h} $ 表示群体 $ h $ 对地标 $ c $ 的贡献量。
• 根据相关性得分对GLDv2和维基媒体的图像进行重采样，构建具有更公平全球分布的新评估数据集。

实验结果

研究问题

• RQ1 如何以反映全球人口分布而非有偏的贡献者人口结构的方式估算地标相关性？
• RQ2 对用户贡献进行分层抽样在多大程度上能减少地标识别数据集中的地理偏差？
• RQ3 能否通过基于人口调整的相关性得分，构建更公平的地标识别与检索挑战赛评估数据集？
• RQ4 与以往基准相比，模型在新公平数据集上的表现如何，其公平性与泛化能力有何变化？
• RQ5 尽管进行了人口调整，使用基于网络的贡献数据估算全球地标相关性仍存在哪些局限性？

主要发现

• 所提出的分层方法显著改善了代表性不足大陆（尤其是非洲与南亚）的代表性，与GLDv2相比，体现在前5000名地标中的大陆分布上。
• 该分层数据集中排名前10的地标包括来自不同地区的全球重要地标，如沙特阿拉伯的阿卜杜勒阿齐兹国王清真寺、印度的泰姬陵和埃及的吉萨墓地，有效减少了西方地标过度代表的问题。
• 2021年谷歌地标挑战赛的新评估数据集通过基于人口调整相关性得分的重采样方法构建，确保了所有地区地标更公平的覆盖。
• 使用DELG嵌入的基线结果表明，与2020年基准相比，识别任务（0.2303私有，0.2376公开）和检索任务（0.2223私有，0.2153公开）的mAP@100均有轻微提升。
• 尽管有所改进，该方法仍因互联网接入水平较低地区的数据不足，以及部分地标（尤其在谷歌地图与维基媒体中均未出现的地标）的相关性得分不完整，而面临局限性。