[论文解读] Transferring Knowledge for Food Image Segmentation using Transformers and Convolutions

Grant Sinha, Krish Parmar+5 more|arXiv (Cornell University)|Jun 15, 2023

Nutritional Studies and DietMedicine被引用 3

一句话总结

本论文提出将视觉变换器（BEiT-v2）和卷积网络（InternImage）的知识迁移应用于食品图像分割任务，基于FoodSeg103基准进行评估。BEiT-v2在该基准上实现了49.4的mIoU新SOTA结果，优于先前方法，归因于其全局感受野和向量量化知识蒸馏机制，展现出在高类别相似性与长尾数据分布复杂食品分割任务中卓越的特征迁移能力。

ABSTRACT

Food image segmentation is an important task that has ubiquitous applications, such as estimating the nutritional value of a plate of food. Although machine learning models have been used for segmentation in this domain, food images pose several challenges. One challenge is that food items can overlap and mix, making them difficult to distinguish. Another challenge is the degree of inter-class similarity and intra-class variability, which is caused by the varying preparation methods and dishes a food item may be served in. Additionally, class imbalance is an inevitable issue in food datasets. To address these issues, two models are trained and compared, one based on convolutional neural networks and the other on Bidirectional Encoder representation for Image Transformers (BEiT). The models are trained and valuated using the FoodSeg103 dataset, which is identified as a robust benchmark for food image segmentation. The BEiT model outperforms the previous state-of-the-art model by achieving a mean intersection over union of 49.4 on FoodSeg103. This study provides insights into transfering knowledge using convolution and Transformer-based approaches in the food image domain.

研究动机与目标

• 评估视觉变换器与卷积网络在食品图像分割任务中的知识迁移能力。
• 应对食品分割中的挑战，包括类别间相似性、类内可变性以及长尾数据分布问题。
• 在FoodSeg103数据集上进行性能基准测试，该数据集被认定为细粒度食品分割任务中稳健且具有挑战性的基准。
• 探究基于Transformer的模型（如BEiT-v2）是否能比卷积模型更有效地捕捉复杂食品场景中的全局上下文与语义关系。
• 比较知识蒸馏与自监督预训练在提升低资源食品数据集分割性能方面的有效性。

提出的方法

• 对在ImageNet-1K上预训练并采用向量量化知识蒸馏的视觉变换器BEiT-v2进行微调，用于FoodSeg103上的语义分割任务。
• 训练InternImage-B——一种采用可变形卷积（DCN-V3）的最先进卷积神经网络，作为强基线模型用于对比。
• 在微调过程中，对两个模型均采用标准语义分割头，并结合交叉熵损失与Dice损失。
• 采用数据增强与类别平衡策略，缓解FoodSeg103中长尾类别分布带来的影响。
• 采用两阶段训练流程：先在ImageNet-1K上进行预训练，随后在FoodSeg103上进行微调，并采用学习率调度策略。
• 在BEiT-v2的预训练中采用向量量化标记化方法，以学习离散视觉代码本，增强语义表征学习能力。

实验结果

研究问题

• RQ1 视觉变换器主干网络BEiT-v2在食品图像分割任务中是否比现代卷积网络（InternImage-B）具有更优的知识迁移效果？
• RQ2 全局感受野与自注意力机制在复杂重叠食品场景中的分割性能提升方面起到何种作用？
• RQ3 BEiT-v2中采用的向量量化知识蒸馏在多大程度上增强了细粒度食品分割的特征表征能力？
• RQ4 长尾类别分布与类别间相似性如何影响食品分割中模型的泛化能力？
• RQ5 BEiT-v2能否克服卷积模型在区分视觉上相似的食品（如牛排与猪排）时的局限性？

主要发现

• BEiT-v2在FoodSeg103数据集上实现了49.4的平均交并比（mIoU），创下新的SOTA性能记录。
• InternImage-B模型实现了41.1的mIoU，表明尽管其性能强劲，但在与视觉变换器方法的对比中仍表现欠佳。
• BEiT-v2在长尾类别（如汉堡、布丁、海带）上表现更优，但所有模型由于训练数据稀疏，仍面临困难。
• BEiT-v2的全局感受野使其具备更强的上下文理解能力，相比InternImage在重叠与混合食品的分割中表现更优。
• 尽管BEiT-v2整体表现更优，但在某些案例中（如将土豆泥与肉误分为单一分割区域），InternImage表现更佳，凸显了不同模型的特定失败模式。
• BEiT-v2预训练中采用的向量量化知识蒸馏有助于提升语义表征学习，从而增强细粒度分割任务的性能。