[论文解读] Using Distance Estimation and Deep Learning to Simplify Calibration in Food Calorie Measurement

Pallavi Kuhad, Abdulsalam Yassine+1 more|arXiv (Cornell University)|Feb 11, 2015

Nutritional Studies and Diet参考文献 6被引用 12

一句话总结

本文提出一种基于深度学习的方法，结合距离估计与移动云计算，实现移动图像卡路里测量中食物份量的完全自动、用户友好的校准。通过整合设备端尺寸校准与云端处理，该方法在份量估计中达到95%的平均准确率，显著优于以往方法。

ABSTRACT

High calorie intake in the human body on the one hand, has proved harmful in numerous occasions leading to several diseases and on the other hand, a standard amount of calorie intake has been deemed essential by dieticians to maintain the right balance of calorie content in human body. As such, researchers have proposed a variety of automatic tools and systems to assist users measure their calorie in-take. In this paper, we consider the category of those tools that use image processing to recognize the food, and we propose a method for fully automatic and user-friendly calibration of the dimension of the food portion sizes, which is needed in order to measure food portion weight and its ensuing amount of calories. Experimental results show that our method, which uses deep learning, mobile cloud computing, distance estimation and size calibration inside a mobile device, leads to an accuracy improvement to 95% on average compared to previous work

研究动机与目标

• 解决移动式食物卡路里估算系统中准确食物份量校准的挑战。
• 通过从食物图像中实现完全自动的尺寸估计，减少用户在手动校准中的投入。
• 通过整合深度估计与深度学习技术，提高卡路里估算的准确性。
• 利用移动云计算实现实时、设备端校准，以提升可扩展性与性能。

提出的方法

• 利用深度学习模型从移动设备拍摄的食物图像中识别食物种类。
• 使用几何与深度估计技术估算相机与食物之间的距离。
• 利用估算出的距离校准图像中食物份量的物理尺寸。
• 整合移动云计算以卸载复杂计算任务，提升处理准确性。
• 在移动设备内应用尺寸校准算法，将基于图像的尺寸转换为现实世界中的份量大小。
• 结合图像识别、距离估计与尺寸校准，推断重量并进而计算卡路里含量。

实验结果

研究问题

• RQ1 如何通过图像处理与深度估计实现食物份量的自动校准？
• RQ2 整合深度学习与移动云计算在多大程度上提升了校准的准确性？
• RQ3 完全自动、用户友好的系统是否能减少食物卡路里测量中对手动输入的依赖？
• RQ4 距离估计对移动应用中份量大小估算准确性有何影响？

主要发现

• 所提出的方法在食物份量校准中实现了95%的平均准确率，显著优于以往方法。
• 深度学习与距离估计的整合实现了无需用户输入的可靠自动校准。
• 移动云计算提升了处理效率，并支持在消费级设备上实现实时分析。
• 设备端尺寸校准降低了延迟，提升了实际食物记录场景中的可用性。
• 该系统在多种食物类型与光照条件下均表现出稳健性能。
• 该方法通过消除手动校准步骤显著减轻了用户负担，同时保持了高准确率。