[论文解读] Wide-Slice Residual Networks for Food Recognition

Niki Martinel, Gian Luca Foresti+1 more|arXiv (Cornell University)|Dec 20, 2016

Advanced Chemical Sensor TechnologiesEngineering被引用 19

一句话总结

本文提出 WISeR，一种用于食物识别的新型深度残差网络，通过引入切片卷积层以捕捉食物的垂直分层结构，并结合残差学习分支进行通用特征提取。通过融合这两个分支，WISeR 在 Food-101 数据集上实现了 90.27% 的 top-1 准确率，通过针对食物构成的专用架构设计超越了现有方法。

ABSTRACT

Food diary applications represent a tantalizing market. Such applications, based on image food recognition, opened to new challenges for computer vision and pattern recognition algorithms. Recent works in the field are focusing either on hand-crafted representations or on learning these by exploiting deep neural networks. Despite the success of such a last family of works, these generally exploit off-the shelf deep architectures to classify food dishes. Thus, the architectures are not cast to the specific problem. We believe that better results can be obtained if the deep architecture is defined with respect to an analysis of the food composition. Following such an intuition, this work introduces a new deep scheme that is designed to handle the food structure. Specifically, inspired by the recent success of residual deep network, we exploit such a learning scheme and introduce a slice convolution block to capture the vertical food layers. Outputs of the deep residual blocks are combined with the sliced convolution to produce the classification score for specific food categories. To evaluate our proposed architecture we have conducted experimental results on three benchmark datasets. Results demonstrate that our solution shows better performance with respect to existing approaches (e.g., a top-1 accuracy of 90.27% on the Food-101 challenging dataset).

研究动机与目标

• 解决食物图像中类内差异高的挑战，即同一道菜因食材、制作方式和呈现方式不同而外观差异显著。
• 克服现有方法的局限性，这些方法在未考虑食物特有结构特性的情况下直接应用现成的深度神经网络架构。
• 设计一种针对食物构成（特别是许多菜肴中常见的垂直分层结构）的深度学习架构。
• 通过结合结构特征学习（通过切片卷积）与通用深度表征学习（通过残差块），提升分类性能。

提出的方法

• 提出一种新型切片卷积层，从食物图像的垂直切片中提取特征，以建模许多菜肴的分层结构。
• 将切片卷积分支与宽残差网络（WRN）结合，从复杂多变的食物外观中学习通用视觉特征。
• 通过跨层丰富特征图，减轻深度残差网络中的特征重用退化问题，增强表征能力。
• 在最终分类前通过拼接操作融合两个分支的特征，使网络能够同时利用结构化和通用视觉线索。
• 利用在 ImageNet 上预训练的权重初始化残差分支，注入强归纳偏置，提升特征判别能力。
• 应用 Guided Grad-CAM 进行可视化注意力分析，以解释并验证模型在分类过程中对图像相关区域的关注。

实验结果

研究问题

• RQ1 是否可通过专门针对食物结构（尤其是垂直分层）设计的深度学习架构，提升食物识别性能？
• RQ2 与标准架构相比，结合结构特征学习（通过切片卷积）与通用残差学习是否能显著提升分类准确率？
• RQ3 在未进行微调的情况下，将残差分支在 ImageNet 上预训练，能在多大程度上提升食物识别性能？
• RQ4 通过可视化注意力分析，所提出的架构是否能自识别并聚焦于分类过程中的相关图像区域？

主要发现

• WISeR 在 Food-101 基准测试中实现了 90.27% 的 top-1 准确率，超越了当前最先进方法。
• 残差学习分支对性能的贡献远大于切片卷积分支，后者在融合后仅带来增量提升。
• 从零开始训练完整 WISeR 架构仅在 Food-101 上达到 78.12% 的 top-1 准确率，证实了 ImageNet 预训练的重要性。
• 通过 Guided Grad-CAM 进行的可视化注意力分析表明，WISeR 仅关注相关食物区域，忽略盘子、勺子或背景等无关物体。
• 切片特征与残差特征的融合带来更优性能，表明结构特征与通用特征在食物识别中具有互补性。
• 该架构在不同数据集（Food-101、UECFood100、UECFood256）上均表现出良好泛化能力，证明其对领域偏移和多样化食物构成的鲁棒性。