[论文解读] Worker Activity Recognition in Manufacturing Line Using Near-body Electric Field

Sungho Suh, Vítor Fortes Rey+6 more|arXiv (Cornell University)|Aug 7, 2023

Digital Transformation in IndustryEngineering被引用 3

一句话总结

本文提出了一种可穿戴传感原型，结合惯性测量单元（IMU）和体电容传感器，用于在制造环境中识别工人活动。通过使用深度学习模型（MC-CNN 和 DeepConvLSTM）对多模态传感器数据进行早期和晚期融合策略的融合，该系统在宏观 F1 分数上比 Apple Watch 数据高出 9.38%，在无体电容传感的版本基础上提升了 6.35%，证明了其在工业人体活动识别中更高的准确性和鲁棒性。

ABSTRACT

Manufacturing industries strive to improve production efficiency and product quality by deploying advanced sensing and control systems. Wearable sensors are emerging as a promising solution for achieving this goal, as they can provide continuous and unobtrusive monitoring of workers' activities in the manufacturing line. This paper presents a novel wearable sensing prototype that combines IMU and body capacitance sensing modules to recognize worker activities in the manufacturing line. To handle these multimodal sensor data, we propose and compare early, and late sensor data fusion approaches for multi-channel time-series convolutional neural networks and deep convolutional LSTM. We evaluate the proposed hardware and neural network model by collecting and annotating sensor data using the proposed sensing prototype and Apple Watches in the testbed of the manufacturing line. Experimental results demonstrate that our proposed methods achieve superior performance compared to the baseline methods, indicating the potential of the proposed approach for real-world applications in manufacturing industries. Furthermore, the proposed sensing prototype with a body capacitive sensor and feature fusion method improves by 6.35%, yielding a 9.38% higher macro F1 score than the proposed sensing prototype without a body capacitive sensor and Apple Watch data, respectively.

研究动机与目标

• 开发一种集成了 IMU 和体电容传感的可穿戴传感原型，实现在工业环境中的实时工人活动识别。
• 评估多模态传感器融合策略（特别是早期融合与晚期融合）在时间序列数据上的有效性，以提升 HAR 性能，数据源包括 IMU 和电容传感器。
• 在真实制造环境下，将所提系统的性能与商用现成设备（如 Apple Watch）进行对比。
• 研究体电容传感在复杂工业环境中（尤其在人机动态交互场景下）对提升活动识别准确性的附加价值。
• 通过准确的 HAR 预测工人运动意图，支持安全高效的移动机器人路径规划。

提出的方法

• 所提出的可穿戴原型在双腕上集成了 IMU 和体电容传感器，以捕捉运动和身体附近的电场变化。
• 对来自 IMU（加速度计、陀螺仪、磁力计）和体电容传感器的多模态传感器数据，采用两种深度学习架构进行处理：多通道卷积神经网络（MC-CNN）和 DeepConvLSTM。
• 实施了两种传感器融合策略：早期融合，即在特征提取前将原始传感器信号拼接；晚期融合，即分别处理每种模态，然后在分类前拼接特征。
• 系统在真实世界数据集上进行训练和评估，该数据集在智能工厂测试平台上采集，其中工人与移动机器人共存，活动在五种不同的标注方案下进行标注。
• 性能通过准确率、宏观 F1 分数和行走类别准确率进行评估，并与在相似条件下采集的 Apple Watch 数据进行比较。
• 研究采用 25 Hz 的采样率用于自定义传感器，100 Hz 用于 Apple Watch，尽管频率不同，但实现了公平比较。

实验结果

研究问题

• RQ1 与传统的仅使用 IMU 的系统相比，结合 IMU 和体电容传感的可穿戴传感器系统是否能提升工业环境中工人活动识别的准确性？
• RQ2 在融合 IMU 和体电容数据用于人体活动识别时，早期融合与晚期融合策略在性能上如何比较？
• RQ3 体电容传感的引入在多大程度上提升了识别性能，相较于仅使用 IMU 或商用设备（如 Apple Watch）的基线？
• RQ4 尽管采样率较低（25 Hz 对比 100 Hz），该系统是否在宏观 F1 分数和准确率上仍优于 Apple Watch？
• RQ5 该系统是否能可靠地预测工人运动意图，以支持在共享制造环境中安全的移动机器人路径规划？

主要发现

• 所提出的系统结合体电容传感和特征融合，在宏观 F1 分数上比 Apple Watch 数据高出 9.38%，证明了其在采样率较低的情况下仍具有优越性能。
• 在所有评估指标中，晚期融合方法均优于早期融合方法，表明在融合前对各模态分别处理可获得更优的特征表示。
• 与不包含体电容传感器的原型相比，该系统性能提升了 6.35%，凸显了该传感器的重要贡献。
• 即使采样率为 25 Hz，所提出的可穿戴系统在所有五种标注方案下，其准确率、宏观 F1 分数和行走类别准确率均优于 Apple Watch（100 Hz）。
• Apple Watch 数据仅在包含“空闲”类别的标注方案中表现提升，表明左臂上的 iPhone mini 主要有助于区分静止状态，而非主动动作。
• 该系统在真实工业环境中表现出强健性和高准确性，支持其在智能制造和人机协作中的实际部署潜力。