[论文解读] Tuned Inception V3 for Recognizing States of Cooking Ingredients

Kin Ng|arXiv (Cornell University)|May 5, 2019

Robot Manipulation and Learning参考文献 23被引用 4

一句话总结

本文提出了一种微调后的 Inception V3 模型，通过在自定义数据集上使用迁移学习，用于识别 11 种不同的食材状态（例如，去皮、切丁、完整）。通过冻结早期层并使用 SGD 微调顶层，该模型在未见测试数据上实现了 69.4% 的准确率，证明了其在机器人烹饪应用中的可行性。

ABSTRACT

Cooking is a task that must be performed in a daily basis, and thus it is an activity that many people take for granted. For humans preparing a meal comes naturally, but for robots even preparing a simple sandwich results in an extremely difficult task. In robotics, designing kitchen robots is complicated since cooking relies on a variety of physical interactions that are dependent on different conditions such as changes in the environment, proper execution of sequential instructions, along with motions, and detection of the different states in which cooking-ingredients can be in for their correct grasping and manipulation. In this paper, we focus on the challenge of state recognition and propose a fine tuned convolutional neural network that makes use of transfer learning by reusing the Inception V3 pre-trained model. The model is trained and validated on a cooking dataset consisting of eleven states (e.g. peeled, diced, whole, etc.). The work presented on this paper could provide insight into finding a potential solution to the problem.

研究动机与目标

• 通过实现对食材状态的准确识别，解决机器人烹饪的挑战，这是正确抓取和操作的前提。
• 克服在动态厨房环境中食材经历多种形态变化时状态识别的困难。
• 利用迁移学习，将预训练的 Inception V3 模型适配到专门的食材状态分类任务中。
• 为机器人系统提供一个基础解决方案，使其能够理解并响应食材在烹饪过程中的物理状态。
• 推动更广泛的目标，即实现机器人自主完成复杂、现实世界中的日常任务，如烹饪。

提出的方法

• 通过在自定义的食材状态数据集上微调预训练的 Inception V3 架构，利用迁移学习。
• 将训练分为两个阶段：第一阶段仅训练随机初始化的顶层，使用较高的初始学习率；第二阶段使用较低的学习率对整个网络进行微调。
• 应用数据增强技术，包括随机水平翻转和颜色抖动，以提高泛化能力。
• 在微调阶段选择 SGD，学习率为 0.00001，动量为 0.9，以确保稳定且微小的权重更新。
• 实验了冻结不同数量初始层的效果，发现冻结至第 249 层（即顶层两个可训练模块）时性能最佳。
• 使用包含 11 种状态的自定义数据集，包括模糊和多状态样本，以评估模型的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 微调后的 Inception V3 模型能否通过迁移学习可靠地分类 11 种不同的食材状态？
• RQ2 在微调过程中，冻结不同数量的初始层如何影响模型性能和收敛性？
• RQ3 数据模糊性、多状态标注以及“其他”类别对分类准确率有何影响？
• RQ4 在这一专门的食材状态识别任务中，使用 SGD 微调的迁移学习方法是否优于从零开始的端到端训练？
• RQ5 数据质量问题（如标签错误或模糊图像）在多大程度上限制了模型性能？

主要发现

• 全量训练后，模型在验证集上达到 72% 的准确率，表明其在训练分布上学习能力很强。
• 在未见的测试数据上，模型达到 69.4% 的准确率，尽管数据集存在局限，仍表现出良好的泛化能力。
• 冻结至第 249 层（顶层两个 Inception 模块）时性能最佳，验证损失为 0.8192，准确率为 72.86%。
• 冻结超过此数量的层（如至第 229 层或第 197 层）会降低准确率并增加训练时间，表明过度冻结会损害性能。
• “其他”类别以及模糊/多状态图像被确定为误分类的主要原因，尤其在具有挑战性的测试案例中。
• 视觉分析显示，外观相似但标签不同的图像（如“奶油状”与“其他”）以及多状态图像（如同时为切丁和撒上面粉）显著影响了模型的可靠性。