[论文解读] Unstructured Handwashing Recognition using Smartwatch to Reduce Contact Transmission of Pathogens

Emanuele Lattanzi, Lorenzo Calisti+1 more|arXiv (Cornell University)|Jul 28, 2021

COVID-19 diagnosis using AI参考文献 50被引用 17

一句话总结

本文提出了一种基于智能手表的机器学习系统，利用商用智能手表的惯性传感器数据（加速度计和陀螺仪）识别非结构化的洗手和手部消毒行为。该系统在两个数据集上评估了标准学习和深度学习模型，分类准确率达到94-95%，表明SVM等边缘可部署模型能够实现私密、实时、连续的卫生监测，且无需依赖云端处理。

ABSTRACT

Current guidelines from the World Health Organization indicate that the SARS-CoV-2 coronavirus, which results in the novel coronavirus disease (COVID-19), is transmitted through respiratory droplets or by contact. Contact transmission occurs when contaminated hands touch the mucous membrane of the mouth, nose, or eyes so hands hygiene is extremely important to prevent the spread of the SARSCoV-2 as well as of other pathogens. The vast proliferation of wearable devices, such as smartwatches, containing acceleration, rotation, magnetic field sensors, etc., together with the modern technologies of artificial intelligence, such as machine learning and more recently deep-learning, allow the development of accurate applications for recognition and classification of human activities such as: walking, climbing stairs, running, clapping, sitting, sleeping, etc. In this work, we evaluate the feasibility of a machine learning based system which, starting from inertial signals collected from wearable devices such as current smartwatches, recognizes when a subject is washing or rubbing its hands. Preliminary results, obtained over two different datasets, show a classification accuracy of about 95% and of about 94% for respectively deep and standard learning techniques.

研究动机与目标

• 开发一种非侵入式可穿戴系统，利用智能手表的惯性信号检测非结构化的洗手和手部消毒行为。
• 评估机器学习模型在存在高个体差异性和微小运动的情况下识别手部卫生行为的可行性。
• 比较标准学习模型（SVM、ERS-KNN）与深度学习模型（LSTM、CNN）在准确率和计算效率方面的表现。
• 评估陀螺仪数据是否能在不增加计算成本的前提下提升轻量化模型的性能。
• 通过避免云端处理，实现基于边缘的推理，以提升隐私保护并降低延迟。

提出的方法

• 系统在日常活动中收集佩戴于手腕的智能手表所采集的惯性信号（加速度计和陀螺仪）。
• 原始传感器数据被分割为固定长度的时间窗，并通过z分数标准化和主成分分析（PCA）进行预处理。
• 训练了四种机器学习模型：支持向量机（SVM）、扩展感受野K近邻（ERS-KNN）、长短期记忆网络（LSTM）和卷积神经网络（CNN）。
• 采用五折交叉验证策略评估模型在不同受试者和活动之间的泛化能力。
• 在两个数据集上评估模型性能：一个包含12名受试者的自定义数据集和DLA数据集，分别在有和无陀螺仪数据的情况下进行测试。
• 使用标准指标评估性能：准确率、精确率、召回率和F1分数。

实验结果

研究问题

• RQ1 标准学习和深度学习模型能否准确地从商用智能手表采集的惯性信号中分类非结构化的洗手和手部消毒行为？
• RQ2 陀螺仪数据的引入如何影响SVM和ERS-KNN等轻量化模型的分类准确率？
• RQ3 SVM等边缘可部署模型能否在保持高准确率的同时，最小化内存占用和推理时间，以实现真正的实时设备端处理？
• RQ4 模型性能在个体特定与跨个体分类任务之间有何差异？
• RQ5 个体间差异和非结构化运动模式在多大程度上挑战了传统活动识别方法？

主要发现

• 在自定义数据集上，所提出的系统使用深度学习模型（CNN和LSTM）实现约95%的分类准确率，使用标准学习模型（SVM和ERS-KNN）实现94%的准确率。
• 在DLA数据集上，表现最佳的模型（ERS-KNN）达到95.9%的准确率，SVM为94.6%，表明其在多样化的受试者和条件下具有强鲁棒性。
• 引入陀螺仪数据显著提升了SVM和ERS-KNN等标准模型的性能，使其在不增加计算成本的前提下达到与深度模型相当的准确率。
• SVM在准确率、低内存占用和快速推理时间之间表现出最佳平衡，适用于边缘部署，减少对云基础设施的依赖。
• 混淆矩阵显示，洗手行为的误分类主要被误标为“其他”活动，表明模型对目标动作具有强大的区分能力。
• 个体分类性能优于活动分类，ERS-KNN达到95.9%的准确率，表明在此情境下，个体运动模式比活动类型更具可区分性。