[论文解读] NICO: A Dataset Towards Non-I.I.D. Image Classification.

Yue He, Zheyan Shen+1 more|arXiv (Cornell University)|Jun 7, 2019

COVID-19 diagnosis using AI被引用 3

一句话总结

本文提出了 NICO，一个新颖的非独立同分布（non-I.I.D.）图像分类数据集，旨在通过利用上下文差异来诱导受控的非独立同分布特性，系统性地研究现实场景中的分布偏移问题。该研究提出了一种带有批量平衡模块的基线卷积神经网络（ConvNet）模型，在 NICO 上表现出更优的性能，验证了该数据集在分布偏移条件下训练鲁棒模型的实用性。

ABSTRACT

I.I.D. hypothesis between training and testing data is the basis of numerous image classification methods. Such property can hardly be guaranteed in practice where the Non-IIDness is common, causing instable performances of these models. In literature, however, the Non-I.I.D. image classification problem is largely understudied. A key reason is lacking of a well-designed dataset to support related research. In this paper, we construct and release a Non-I.I.D. image dataset called NICO, which uses contexts to create Non-IIDness consciously. Compared to other datasets, extended analyses prove NICO can support various Non-I.I.D. situations with sufficient flexibility. Meanwhile, we propose a baseline model with ConvNet structure for General Non-I.I.D. image classification, where distribution of testing data is unknown but different from training data. The experimental results demonstrate that NICO can well support the training of ConvNet model from scratch, and a batch balancing module can help ConvNets to perform better in Non-I.I.D. settings.

研究动机与目标

• 解决现实部署中非独立同分布图像分类缺乏结构化数据集的问题，这是当前一个关键的空白点。
• 构建一个数据集，通过有意识地嵌入基于上下文的分布偏移，实现对非独立同分布场景的系统性研究。
• 提供一个灵活的基准，支持超越简单领域偏移的多样化非独立同分布设置。
• 提出一种基线模型，用于一般性的非独立同分布图像分类任务，其中测试数据分布未知且与训练分布不同。
• 评估训练策略（如批量平衡）在提升非独立同分布条件下模型鲁棒性方面的有效性。

提出的方法

• 通过在图像数据中引入基于上下文的差异，构建 NICO 数据集，以在训练集和测试集之间诱导受控的非独立同分布特性。
• 通过上下文标注和数据划分，设计数据集以支持多种类型的非独立同分布场景，包括领域偏移和概念漂移。
• 开发一种基于卷积神经网络（ConvNet）的基线模型，用于一般性的非独立同分布图像分类，且不依赖于对测试分布的先验知识。
• 在训练流程中集成批量平衡模块，以缓解类别分布偏移导致的性能下降。
• 从零开始在 NICO 上训练模型，以评估其在非独立同分布条件下泛化的能力。
• 通过扩展分析验证 NICO 在各种非独立同分布设置下的灵活性与代表性。

实验结果

研究问题

• RQ1 NICO 是否能有效支持在多样化非独立同分布数据分布偏移下的模型训练与评估？
• RQ2 所提出的批量平衡模块在非独立同分布图像分类中如何提升模型泛化能力？
• RQ3 在测试数据分布与训练分布不同的情况下，基于 NICO 训练的基线卷积神经网络模型在性能上是否保持稳定？
• RQ4 NICO 的基于上下文的设计是否能够实现对现实世界非独立同分布场景的系统性与灵活性模拟？
• RQ5 与现有数据集相比，NICO 在支持分布偏移下的鲁棒性评估方面表现如何？

主要发现

• NICO 成功支持了从零开始在非独立同分布条件下训练卷积神经网络模型，证明了其作为基准的实际效用。
• 引入批量平衡模块后，NICO 数据集上的性能得到提升，表明该模块在缓解分布偏移影响方面具有有效性。
• 扩展分析证实，NICO 能够以足够的灵活性与多样性代表广泛的非独立同分布场景。
• 在 NICO 上训练的基线模型在不同非独立同分布设置下均表现出稳定性能，验证了该数据集在鲁棒性评估方面的设计合理性。
• 结果表明，通过适当的网络结构与训练策略改进（如批量平衡），非独立同分布泛化是可实现的。
• 与现有数据集相比，NICO 在支持非独立同分布图像分类问题的系统性与受控性研究方面表现更优。