[论文解读] NUTRIVISION: A System for Automatic Diet Management in Smart Healthcare

Madhumita Veeramreddy, Ashok Kumar Pradhan+3 more|arXiv (Cornell University)|Sep 30, 2024

Mobile Health and mHealth ApplicationsHealth Professions被引用 3

一句话总结

NutriVision 是一种智能医疗系统，利用基于 Faster R-CNN 的计算机视觉与机器学习技术，自动从智能手机拍摄的图像中检测食物项目，估算份量大小，并提供个性化的营养分析与饮食建议。该系统在食物检测准确率方面优于 YOLO、Mask R-CNN 和传统 CNN 模型，实现了更高的 F1 分数、精确率与召回率，同时整合用户特定的健康数据，提供量身定制的饮食指导。

ABSTRACT

Maintaining health and fitness through a balanced diet is essential for preventing non communicable diseases such as heart disease, diabetes, and cancer. NutriVision combines smart healthcare with computer vision and machine learning to address the challenges of nutrition and dietary management. This paper introduces a novel system that can identify food items, estimate quantities, and provide comprehensive nutritional information. NutriVision employs the Faster Region based Convolutional Neural Network, a deep learning algorithm that improves object detection by generating region proposals and then classifying those regions, making it highly effective for accurate and fast food identification even in complex and disorganized meal settings. Through smartphone based image capture, NutriVision delivers instant nutritional data, including macronutrient breakdown, calorie count, and micronutrient details. One of the standout features of NutriVision is its personalized nutritional analysis and diet recommendations, which are tailored to each user's dietary preferences, nutritional needs, and health history. By providing customized advice, NutriVision helps users achieve specific health and fitness goals, such as managing dietary restrictions or controlling weight. In addition to offering precise food detection and nutritional assessment, NutriVision supports smarter dietary decisions by integrating user data with recommendations that promote a balanced, healthful diet. This system presents a practical and advanced solution for nutrition management and has the potential to significantly influence how people approach their dietary choices, promoting healthier eating habits and overall well being. This paper discusses the design, performance evaluation, and prospective applications of the NutriVision system.

研究动机与目标

• 为解决现有饮食追踪系统中手动记录食物的局限性，实现完全自动化的基于图像的营养评估。
• 提升在复杂真实餐食场景中食物检测与份量估算的准确性和可靠性。
• 基于个体健康档案（包括 BMI、饮食偏好和疾病状况）提供个性化饮食建议。
• 通过消除手动数据输入并提供实时、可操作的反馈，减轻用户负担，提高依从性。
• 通过整合用户反馈并动态调整建议，提升营养决策质量。

提出的方法

• 系统采用 Faster R-CNN（一种深度学习目标检测模型），以高精度识别和定位用户拍摄图像中的食物项目。
• 通过图像特征估算食物体积，并利用学习到的回归模型将其转换为重量，以实现份量量化。
• 通过与检测到的食物项目关联的综合食物数据库，自动提取营养信息（宏量营养素、卡路里和微量营养素）。
• 通过反馈驱动的自适应引擎，分析用户特定数据（包括 BMI、病史和饮食偏好），生成个性化建议。
• 系统引入用户反馈回路，根据用户对餐食建议的响应，动态优化未来建议。
• 采用标准目标检测指标（精确率、召回率、F1 分数）在多个训练周期内进行评估，以与 YOLO、Mask R-CNN 和传统 CNN 模型进行性能对比。

实验结果

研究问题

• RQ1 Faster R-CNN 在从真实世界餐食图像中检测食物项目方面，相较于其他深度学习模型（YOLO、Mask R-CNN、传统 CNN）表现如何？
• RQ2 在无外部参照的情况下，该系统在单张智能手机图像中准确估算食物份量的程度如何？
• RQ3 整合用户健康数据（如 BMI、饮食偏好）在生成个性化且可操作的饮食建议方面的有效性如何？
• RQ4 基于反馈的推荐引擎是否能随时间提升建议的相关性与用户依从性？
• RQ5 自动化营养分析对用户参与度及长期饮食行为改变的影响如何？

主要发现

• Faster R-CNN 在所有评估指标中均取得最高的 F1 分数，表明其在精确率与召回率之间具有更优的平衡。
• F1 分数随训练周期变化的图表证实，Faster R-CNN 在收敛速度与准确性方面始终优于 YOLO、Mask R-CNN 和传统 CNN 模型。
• Faster R-CNN 随时间推移表现出最高的精确率与召回率，表明其在复杂餐食场景中具备可靠且一致的检测性能。
• 与基线模型相比，该系统在杂乱无章和拥挤的餐食环境中显著提升了检测准确率。
• 基于用户健康档案与反馈的个性化建议显著增强了用户参与度，并提升了系统的适应能力。
• 该系统成功减少了对手动食物记录的依赖，并实现了实时营养反馈，支持更健康的饮食选择。