[论文解读] On Creating Benchmark Dataset for Aerial Image Interpretation: Reviews, Guidances and Million-AID

Yang Long, Gui-Song Xia+6 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Image and Video Retrieval Techniques参考文献 178被引用 7

一句话总结

本文提出了一套系统性框架，用于创建大规模、面向应用的航拍图像理解基准数据集，强调实用性、效率和质量。该研究引入了 Million-AID，一个用于场景分类的一百万样本数据集，并提供了可扩展的半自动标注指南，以克服现有数据集的局限性，从而提升深度学习模型在遥感领域的泛化能力和实际应用性。

ABSTRACT

The past years have witnessed great progress on remote sensing (RS) image interpretation and its wide applications. With RS images becoming more accessible than ever before, there is an increasing demand for the automatic interpretation of these images. In this context, the benchmark datasets serve as essential prerequisites for developing and testing intelligent interpretation algorithms. After reviewing existing benchmark datasets in the research community of RS image interpretation, this article discusses the problem of how to efficiently prepare a suitable benchmark dataset for RS image interpretation. Specifically, we first analyze the current challenges of developing intelligent algorithms for RS image interpretation with bibliometric investigations. We then present the general guidances on creating benchmark datasets in efficient manners. Following the presented guidances, we also provide an example on building RS image dataset, i.e., Million-AID, a new large-scale benchmark dataset containing a million instances for RS image scene classification. Several challenges and perspectives in RS image annotation are finally discussed to facilitate the research in benchmark dataset construction. We do hope this paper will provide the RS community an overall perspective on constructing large-scale and practical image datasets for further research, especially data-driven ones.

研究动机与目标

• 解决由于缺乏大规模、公开可用且精确标注的数据集而导致的遥感图像理解瓶颈。
• 识别现有基准数据集中的关键缺陷，例如规模有限、领域偏差和多样性不足。
• 提供可操作的、面向应用的指南，以实现航拍图像理解中高效且高质量的数据集构建。
• 通过构建 Million-AID 来展示该框架，该数据集为大规模、半自动标注的场景分类基准数据集。
• 强调标注质量、噪声处理和工具选择方面的挑战，以提升数据集的可靠性与算法鲁棒性。

提出的方法

• 对现有遥感图像理解数据集进行文献计量分析，识别其在规模、多样性及标注质量方面的常见缺陷。
• 提出一套实用的数据集构建指南，优先考虑现实应用需求，而非算法特定设计。
• 采用灵活的标注工具实施半自动标注策略，以加速标注过程同时保持准确性。
• 提出 Million-AID，一个基于所提指南构建的大规模基准数据集，包含一百万张航拍图像，用于场景分类。
• 评估用于图像级、目标级和像素级标注的标注工具，以支持多样化的理解任务。
• 通过算法建模和噪声鲁棒学习来应对标注噪声，以提升数据集可靠性与模型泛化能力。

实验结果

研究问题

• RQ1 现有遥感图像理解基准数据集在规模、多样性及标注质量方面存在哪些关键局限？
• RQ2 如何高效构建大规模、高质量的基准数据集以支持现实世界的遥感应用？
• RQ3 半自动标注在提升数据集创建的可扩展性和成本效益方面发挥什么作用？
• RQ4 如何检测并缓解标注噪声，以增强数据集的可靠性和模型性能？
• RQ5 在遥感图像理解中，选择标注工具和设计标注流程的关键因素是什么？

主要发现

• 通过所提出的半自动标注策略，成功构建了包含一百万张航拍图像的大型基准数据集 Million-AID，用于场景分类。
• 现有基准数据集普遍存在领域偏差、规模有限和多样性不足的问题，这些限制了深度学习模型的泛化能力。
• 半自动标注显著提升了数据集创建的效率和可扩展性，同时保持了可接受的标注质量。
• 由专家差异性和图像复杂性引起的标注噪声是一个主要挑战，可通过算法检测和噪声鲁棒训练加以缓解。
• 选择灵活且任务特定的标注工具对于确保标注质量、支持多样化的理解任务（如场景分类、目标检测和语义分割）至关重要。
• 本研究建立了一个清晰的未来数据集构建框架，优先考虑面向应用的设计而非算法特定需求，从而促进更广泛的社区采纳与可复现性。