[论文解读] Yum-me: A Personalized Nutrient-based Meal Recommender System

Longqi Yang, Cheng-Kang Hsieh+5 more|arXiv (Cornell University)|May 25, 2016

Nutritional Studies and Diet参考文献 54被引用 34

一句话总结

Yum-me 是一种基于营养的个性化餐食推荐系统，采用视觉问答界面和基于图像对比的在线学习，以准确刻画用户的细微食物偏好，同时利用一种新颖的食物图像分析模型（FoodDist）实现营养适宜且口感匹配的推荐。在60人的用户研究中，推荐接受率提升了42.63%。

ABSTRACT

Nutrient-based meal recommendations have the potential to help individuals prevent or manage conditions such as diabetes and obesity. However, learning people's food preferences and making recommendations that simultaneously appeal to their palate and satisfy nutritional expectations are challenging. Existing approaches either only learn high-level preferences or require a prolonged learning period. We propose Yum-me, a personalized nutrient-based meal recommender system designed to meet individuals' nutritional expectations, dietary restrictions, and fine-grained food preferences. Yum-me enables a simple and accurate food preference profiling procedure via a visual quiz-based user interface, and projects the learned profile into the domain of nutritionally appropriate food options to find ones that will appeal to the user. We present the design and implementation of Yum-me, and further describe and evaluate two innovative contributions. The first contriution is an open source state-of-the-art food image analysis model, named FoodDist. We demonstrate FoodDist's superior performance through careful benchmarking and discuss its applicability across a wide array of dietary applications. The second contribution is a novel online learning framework that learns food preference from item-wise and pairwise image comparisons. We evaluate the framework in a field study of 227 anonymous users and demonstrate that it outperforms other baselines by a significant margin. We further conducted an end-to-end validation of the feasibility and effectiveness of Yum-me through a 60-person user study, in which Yum-me improves the recommendation acceptance rate by 42.63%.

研究动机与目标

• 解决在满足用户营养需求和饮食限制的同时，学习细微食物偏好的挑战。
• 克服基于粗略问卷的偏好获取方式以及食物日记系统中的冷启动问题的局限性。
• 设计一种轻量级、高效且准确的偏好画像方法，最大限度减少用户投入的时间和精力。
• 开发一种通用型食物图像分析模型（FoodDist），以支持多样化的饮食应用场景中的判别性特征提取。
• 在真实场景中评估Yum-me系统端到端的可行性与有效性。

提出的方法

• 采用基于视觉问答的界面，用户通过成对比较食物图像来表达偏好，减少对文本问卷的依赖。
• 引入一种在线学习框架，通过逐项和成对的图像对比学习用户偏好，实现实时且精准的画像构建。
• 利用FoodDist——一种基于深度学习的食物图像分析模型，通过训练提取具有语义意义的欧氏距离的判别性特征。
• 通过基于约束的优化，将学习到的食物偏好映射到营养空间，以推荐既可口又营养均衡的餐食。
• 采用两阶段推荐流程：(1) 通过视觉对比进行偏好建模，(2) 从精选的食物数据库中选择符合营养约束的餐食。
• 将FoodDist以开源形式发布，并提供适用于移动设备的推理管道（通过caffe-android-lib），支持在边缘设备上部署。

实验结果

研究问题

• RQ1 基于视觉和图像的界面是否能比传统问卷方法更准确、更高效地捕捉细微食物偏好？
• RQ2 基于成对图像对比的在线学习框架是否能在极少用户输入和时间投入下实现高精度的偏好建模？
• RQ3 FoodDist模型在食物特定的分类和聚类任务中是否优于现有图像特征提取器？
• RQ4 将视觉偏好学习与营养约束相结合，与基线系统相比，能否显著提升推荐接受率？
• RQ5 Yum-me系统是否能在真实世界用户研究中有效部署并验证，实现推荐质量的可测量提升？

主要发现

• 基于图像对比的在线学习框架在偏好建模准确性方面显著优于基线方法，该结论已在227名匿名用户的实地研究中得到验证。
• 在60人的端到端用户研究中，Yum-me将推荐接受率提升了42.63%，充分证明了其强大的实际有效性。
• FoodDist在多个食物图像分析任务的基准测试中达到最先进性能，包括分类和聚类任务。
• FoodDist在主流8核处理器上每张图像的推理时间低于0.5秒，适用于实时和移动应用场景。
• 视觉界面显著减少了偏好获取所需的时间与精力，同时捕捉到文本问卷容易遗漏的细微食物偏好。
• 系统将用户偏好投影到营养约束空间的能力，使得推荐结果既符合个人口味偏好，又符合健康要求。