[论文解读] NeckSense: A Multi-Sensor Necklace for Detecting Eating Activities in Free-Living Conditions

Shibo Zhang, Yuqi Zhao+5 more|arXiv (Cornell University)|Nov 17, 2019

Eating Disorders and BehaviorsPsychology参考文献 50被引用 20

一句话总结

NeckSense 是一款多传感器项圈，通过使用接近传感器、环境光传感器和惯性测量单元（IMU）传感器，在自由生活状态下非侵入性地检测进食活动，能够识别咀嚼序列和进餐动作，探索性研究中进食事件检测的 F1 分数达到 81.6%，全天自由生活环境中达到 77.1%，电池续航时间超过 15.8 小时。

ABSTRACT

We present the design, implementation, and evaluation of a multi-sensor low-power necklace 'NeckSense' for automatically and unobtrusively capturing fine-grained information about an individual's eating activity and eating episodes, across an entire waking-day in a naturalistic setting. The NeckSense fuses and classifies the proximity of the necklace from the chin, the ambient light, the Lean Forward Angle, and the energy signals to determine chewing sequences, a building block of the eating activity. It then clusters the identified chewing sequences to determine eating episodes. We tested NeckSense with 11 obese and 9 non-obese participants across two studies, where we collected more than 470 hours of data in naturalistic setting. Our result demonstrates that NeckSense enables reliable eating-detection for an entire waking-day, even in free-living environments. Overall, our system achieves an F1-score of 81.6% in detecting eating episodes in an exploratory study. Moreover, our system can achieve a F1-score of 77.1% for episodes even in an all-day-around free-living setting. With more than 15.8 hours of battery-life NeckSense will allow researchers and dietitians to better understand natural chewing and eating behaviors, and also enable real-time interventions.

研究动机与目标

• 开发一种低功耗、非侵入式的可穿戴设备，能够在自然环境中全天候检测进食活动。
• 解决现有系统存在的局限性，如设备侵入性、缺乏长期验证，或仅在同质人群中小范围测试。
• 实现在包括超重和非超重个体在内的多样化人群中的进食事件准确检测。
• 通过持续、可靠的咀嚼和进餐行为监测，支持实时行为干预。
• 为未来进食行为监测研究创建公开可用、高质量的数据集，包含视频验证的真值数据。

提出的方法

• NeckSense 项圈集成了接近传感器以检测下巴与物体的距离，环境光传感器以检测口部接近情况，以及 IMU 以捕捉头部运动和前倾角度。
• 通过融合来自接近传感器、光传感器和 IMU 传感器的特征来识别咀嚼序列，并使用梯度提升模型（GBM）进行分类。
• 通过前倾角度（LFA）检测进餐动作，该角度与将食物送至嘴部的动作密切相关。
• 系统基于时间上的接近性和行为的一致性，将检测到的咀嚼序列聚类为独立的进食事件。
• 传感器数据在本地实时处理，以最小化功耗，实现在单次充电下连续运行超过 15.8 小时。
• 通过肩部摄像机和自我报告的进餐记录进行验证，真值由专业人员对视频数据进行标注确定。

实验结果

研究问题

• RQ1 多传感器项圈是否能够在多样化个体的自由生活状态下可靠检测咀嚼序列和进食事件？
• RQ2 与短期、间歇性研究相比，NeckSense 在长期全天候监测中的性能表现如何？
• RQ3 该系统在不同身体质量指数（BMI）的个体之间，包括超重和非超重参与者，其泛化能力如何？
• RQ4 与单传感器方法相比，接近传感器、光传感器和 IMU 传感器的融合对检测准确率有何提升作用？
• RQ5 在真实世界环境中，系统是否能在单次充电下持续运行超过 15 小时并保持高检测精度？

主要发现

• 在一项探索性、半自由生活状态的研究中，NeckSense 实现了 81.6% 的进食事件检测 F1 分数，且仅选择性地捕获进餐事件。
• 在一项完全自由生活、全天候的研究中，系统在进食事件检测方面仍保持了 77.1% 的稳健 F1 分数。
• 在每秒级别的粒度上，系统对咀嚼序列的检测 F1 分数达到 73.7%，表明在细粒度时间分辨率下也具备高准确性。
• NeckSense 能够在单次充电下平均持续监测参与者 15.8 小时，支持全天候连续数据采集。
• 在为期两周内对 20 名参与者收集的数据集涵盖了多样的进食场景，如车内进食、驼背进食或边说话边进食，提供了丰富的真实世界行为数据。
• 研究中同时纳入了超重和非超重参与者，证明了系统在不同体型和进食行为人群中的泛化能力。