[论文解读] Personalized Classifier for Food Image Recognition

Shota Horiguchi, Sosuke Amano+2 more|arXiv (Cornell University)|Apr 8, 2018

Image Retrieval and Classification Techniques参考文献 51被引用 3

一句话总结

本文提出一种用于食物图像识别的顺序个性化分类器（SPC），通过结合深度特征与加权最近邻方法，实现仅需少量用户数据即可进行增量个性化。该方法在无需重新训练的情况下，通过动态适应个体用户的食物图像模式，相较于现有技术实现了更高的准确率，尤其在新类别样本极少时表现优异。

ABSTRACT

Currently, food image recognition tasks are evaluated against fixed datasets. However, in real-world conditions, there are cases in which the number of samples in each class continues to increase and samples from novel classes appear. In particular, dynamic datasets in which each individual user creates samples and continues the updating process often have content that varies considerably between different users, and the number of samples per person is very limited. A single classifier common to all users cannot handle such dynamic data. Bridging the gap between the laboratory environment and the real world has not yet been accomplished on a large scale. Personalizing a classifier incrementally for each user is a promising way to do this. In this paper, we address the personalization problem, which involves adapting to the user's domain incrementally using a very limited number of samples. We propose a simple yet effective personalization framework which is a combination of the nearest class mean classifier and the 1-nearest neighbor classifier based on deep features. To conduct realistic experiments, we made use of a new dataset of daily food images collected by a food-logging application. Experimental results show that our proposed method significantly outperforms existing methods.

研究动机与目标

• 弥合实验室固定数据集图像分类与真实世界动态食物图像数据之间的差距，后者中用户会持续添加新的个性化食物类别。
• 克服传统增量学习方法的局限性，后者假设类别分布稳定且各类样本数量相等。
• 在真实世界环境中实现有效个性化，尤其适用于用户在每个食物类别中仅有少量标注图像的情况，特别是新类别或稀有物品。
• 开发一种轻量化、可扩展的框架，无需大量重训练即可适应个体用户偏好和视觉领域。
• 通过实现准确的用户特定图像分类，减少手动标注工作量，从而提升食物记录应用的效率。

提出的方法

• SPC框架将固定类别的深度卷积神经网络（CNN）分类器与基于深度特征的用户特定最近类均值（NCM）及1-NN分类器相结合。
• 针对每位用户，系统为其每个类别维护一个个性化原型向量，并在新增图像时增量更新。
• 分类过程采用固定类别CNN与用户特定分类器的加权融合，权重由置信度分数确定。
• 该方法利用预训练CNN（如VGG-16）提取的深度特征，将图像嵌入表示为高维空间中的向量。
• 用户特定分类器采用基于距离加权的最近邻方法，以应对单样本学习和少样本学习场景。
• 系统支持增量学习：新增样本无需重新训练整个模型，可实现实时适应。

实验结果

研究问题

• RQ1 轻量化、增量式的分类器框架是否能以极少的标注数据有效适应个体用户的食物图像模式？
• RQ2 在真实世界食物图像识别中，面对动态的用户生成数据，个性化分类器的性能与固定类别基线相比如何？
• RQ3 结合固定类别CNN与用户特定最近邻学习的混合方法，在单样本和少样本条件下，能在多大程度上提升分类准确率？
• RQ4 所提出的方法是否在个性化食物图像识别中优于现有的增量学习与领域自适应技术？
• RQ5 该系统如何处理不同用户之间存在的高类内差异与类间相似性问题？

主要发现

• 所提出的SPC框架在个性化食物图像识别中显著优于现有方法，尤其在低数据条件下表现突出。
• 该方法在初始化时即达到与固定类别CNN相当的准确率，并随着用户特定数据的更新稳步提升。
• SPC框架通过更频繁地呈现正确标签，显著减少了食物记录应用中的标注工作量。
• 线性组合策略（SPCsum）未能提升性能，表明简单融合固定类别与用户特定分类器并非最优方案。
• 新构建的FLD数据集揭示了用户间存在较高的类间相似性与类内多样性，进一步证明了个性化方法的必要性。
• 即使每个新食物类别仅有1个或少数样本，系统仍表现出稳健性能，证实其在单样本学习中的有效性。