[论文解读] OESense

Dong Ma, Andrea Ferlini+1 more|arXiv (Cornell University)|May 26, 2021

Indoor and Outdoor Localization Technologies参考文献 34被引用 5

一句话总结

OESense 是一种基于耳道阻塞效应和面向内侧麦克风的耳内人体运动传感系统，能够以高精度检测剧烈运动和轻柔运动。通过放大耳道阻塞状态下骨传导的低频声音，其在31名受试者中实现了99.3%的步数计数召回率、98.3%的活动识别召回率以及97.0%的手部触脸手势检测召回率。

ABSTRACT

Smart earbuds are recognized as a new wearable platform for personal-scale human motion sensing. However, due to the interference from head movement or background noise, commonly-used modalities (e.g. accelerometer and microphone) fail to reliably detect both intense and light motions. To obviate this, we propose OESense, an acoustic-based in-ear system for general human motion sensing. The core idea behind OESense is the joint use of the occlusion effect (i.e., the enhancement of low-frequency components of bone-conducted sounds in an occluded ear canal) and inward-facing microphone, which naturally boosts the sensing signal and suppresses external interference. We prototype OESense as an earbud and evaluate its performance on three representative applications, i.e., step counting, activity recognition, and hand-to-face gesture interaction. With data collected from 31 subjects, we show that OESense achieves 99.3% step counting recall, 98.3% recognition recall for 5 activities, and 97.0% recall for five tapping gestures on human face, respectively. We also demonstrate that OESense is compatible with earbuds' fundamental functionalities (e.g. music playback and phone calls). In terms of energy, OESense consumes 746 mW during data recording and recognition and it has a response latency of 40.85 ms for gesture recognition. Our analysis indicates such overhead is acceptable and OESense is potential to be integrated into future earbuds.

研究动机与目标

• 解决传统陀螺仪和麦克风在耳塞中检测剧烈运动和轻柔运动时的局限性。
• 克服基于声学的运动传感中信噪比（SNR）低和环境干扰的问题。
• 开发一种鲁棒、低延迟且节能的耳内传感系统，兼容现有耳塞功能。
• 实现在多样化活动（包括行走、咀嚼和面部触碰手势）中的可靠人体运动传感。
• 探索将该系统无缝集成到商用耳塞中而不影响外形尺寸或能效的可行性。

提出的方法

• OESense 采用面向内侧的麦克风捕捉耳道内部的骨传导声音信号，天然抑制外部声学噪声。
• 利用阻塞效应——即当耳道被阻塞时，骨传导声音的低频分量会被增强——以放大微弱的运动信号。
• 通过时频分析和机器学习模型处理耳内声学信号，实现运动分类。
• 集成信号处理流水线以过滤运动伪影并提升信噪比，利用声音在耳道中传播的物理特性。
• 原型基于具备实时处理能力的定制耳塞硬件平台实现。
• 通过高效管理功耗和处理开销，OESense 保持与核心耳塞功能（如音乐播放和电话通话）的兼容性。

实验结果

研究问题

• RQ1 阻塞效应能否被有效利用，以增强耳道中低幅值运动信号，实现可靠传感？
• RQ2 与传统基于惯性测量单元（IMU）和麦克风的系统相比，OESense 在检测剧烈运动（如行走）和轻柔运动（如轻敲）方面的表现如何？
• RQ3 面向内侧的麦克风在多大程度上减少了环境噪声和头部运动的干扰？
• RQ4 在实际耳塞部署场景中，OESense 的实时性能和功耗表现如何？
• RQ5 OESense 能否在不降低核心功能的前提下，无缝集成到现有耳塞平台中？

主要发现

• 在31名受试者中，OESense 在步数计数任务中实现了99.3%的召回率，显著优于在头部运动条件下使用的传统基于加速度计的方法。
• 在包括行走、跑步、饮水、咀嚼和静止在内的五种不同活动识别中，其识别召回率达到98.3%，展现出对不同运动强度的鲁棒性。
• 在检测五种不同类型的面部轻敲手势时，OESense 实现了97.0%的召回率，优于依赖外部麦克风的系统。
• 手势识别的响应延迟为40.85 ms，支持准实时交互，适用于实际应用场景。
• OESense 在运行时功耗为746 mW，分析表明该功耗开销在商用耳塞中可接受。
• 系统保持与标准耳塞功能（如音乐播放和电话通话）的兼容性，证实其具备实际部署可行性。