[论文解读] ObjectNet Dataset: Reanalysis and Correction

Ali Borji|arXiv (Cornell University)|Apr 4, 2020

Advanced Neural Network Applications参考文献 19被引用 8

一句话总结

本文重新評估了 ObjectNet 數據集，識別出 Barbu 等人原始分析中的關鍵缺陷：將物件辨識模型應用於雜亂場景，而非孤立的物件裁剪。透過將物件分離並重新應用模型，作者們恢復了報告性能下降的 10–15%，證明場景層次的上下文顯著降低了辨識準確率。儘管經過此修正，深度模型在 ObjectNet 上仍表現不佳，確認其對訓練資料之外泛化能力的挑戰。

ABSTRACT

Recently, Barbu et al introduced a dataset called ObjectNet which includes objects in daily life situations. They showed a dramatic performance drop of the state of the art object recognition models on this dataset. Due to the importance and implications of their results regarding generalization ability of deep models, we take a second look at their findings. We highlight a major problem with their work which is applying object recognizers to the scenes containing multiple objects rather than isolated objects. The latter results in around 20-30% performance gain using our code. Compared with the results reported in the ObjectNet paper, we observe that around 10-15 % of the performance loss can be recovered, without any test time data augmentation. In accordance with Barbu et al.'s conclusions, however, we also conclude that deep models suffer drastically on this dataset. Thus, we believe that ObjectNet remains a challenging dataset for testing the generalization power of models beyond datasets on which they have been trained.

研究动机与目标

• 重新表達並修正深度物件辨識模型在 ObjectNet 數據集上的性能評估。
• 研究報告的 ObjectNet 性能下降是否源於模型泛化失敗，或評估方法論有誤。
• 將物件實例從場景中分離並重新評估模型準確率，以量化場景層次雜亂的影響。
• 評估 ImageNet 與 ObjectNet 之間的性能差距是否主要源於分佈偏移或評估協定問題。
• 提供一個修正後的基準，用於使用 ObjectNet 評估深度學習模型的泛化能力。

提出的方法

• 透過提取物件邊界框並將其裁剪為孤立實例，重新處理 ObjectNet 圖像。
• 將相同的預訓練物件辨識模型（例如，ResNet、DenseNet）應用於原始場景與孤立物件裁剪。
• 比較原始 ObjectNet 評估與重新評估的孤立物件設定之間的 top-1 與 top-5 準確率分數。
• 使用原始 ObjectNet 倉庫中公開的程式碼與資料，以確保可重現性。
• 分析 ObjectNet 數據集中的失敗案例與標籤錯誤，以評估資料品質及其對模型性能的影響。
• 在 113 個與 ImageNet 重疊的類別上評估模型性能，以確保一致的比較。

实验结果

研究问题

• RQ1 與 ImageNet 相比，ObjectNet 中場景層次的雜亂在多大程度上導致了深度模型報告的性能下降？
• RQ2 若將模型評估對象從完整場景改為孤立物件裁剪，ImageNet 與 ObjectNet 之間的性能差距是否能顯著縮小？
• RQ3 觀察到的性能下降中有多少是源於原始評估中的方法論缺陷，例如錯誤地將辨識模型應用於多物件場景？
• RQ4 物件層次的標籤錯誤、遮蔽、光照與視角變化在 ObjectNet 上模型失敗中扮演何種角色？
• RQ5 當辨識孤立物件時，深度模型在 ObjectNet 上的表現與人類水平表現相比如何？

主要发现

• 將物件辨識模型應用於孤立物件裁剪而非完整場景，可恢復原始 ObjectNet 研究報告中性能下降的約 10–15%。
• 在多個模型上，分離物件帶來的性能提升具有一致性，表明場景層次的雜亂是原始評估中的主要混淆因素。
• 儘管經過修正，深度模型在 ObjectNet 上與 ImageNet 相比仍顯示顯著的性能下降，確認其對泛化能力的挑戰。
• 作者們在 ObjectNet 中識別出多項資料品質問題，包括錯誤標籤的圖像、遮蔽、極端光照以及模糊的類別（例如，T恤與連衣裙）。
• 部分物件僅能透過文字標籤辨識（例如，寵物食品容器），且多個類別經常混淆（例如，涼鞋與皮鞋、信封與信件）。
• 本研究建議未來基準應將物件辨識與物件偵測分離，並考慮上下文感知的評估協定。